web-llm:将语言模型聊天直接带到 Web 浏览器中的项目

使用 WebGPU 加速,无需服务器支持。该项目旨在为每个人构建 AI 助手并提供隐私保护。该项目提供了一个可重复和可 hack 的工作流程,使任何人都可以轻松开发和优化这些模型,并在 Web 上部署。该项目还支持其他类型的 GPU 后端,如 CUDA、OpenCL 和 Vulkan,并真正实现了 LLM 模型的可访问部署。该项目的核心内容是将 LLM 直接嵌入到客户端中,并在浏览器中直接运行它们,以实现成本降低、个性化增强和隐私保护的好处。

https://github.com/mlc-ai/web-llm

Previous:

Next:

Leave a Reply

Please Login to Comment