mlc-ai/web-llm

解决的问题

WebLLM 将高性能的大语言模型（LLM）推理直接带入 Web 浏览器。它消除了对服务器端处理的需求，从而增强了用户隐私，并移除了模型执行对外部 API 的依赖。

工作原理

WebLLM 利用 WebGPU 进行硬件加速，并利用 WebAssembly (WASM) 实现最佳性能。它被设计为一个模块化的 npm 包，可以集成到 Web 应用程序、Chrome 扩展程序中，或通过 CDN 使用。该引擎支持多种缓存后端（如 Cache API、IndexedDB 和 OPFS），以在浏览器内高效管理模型权重。

适用人群

适用于构建 AI 助手、聊天机器人或浏览器扩展程序的 Web 开发者，他们希望使用 GPU 加速在客户端本地运行 LLM。

亮点

• OpenAI API 兼容性：与 OpenAI API 完全兼容，支持流式传输、JSON 模式和种子设置。
• 广泛的模型支持：原生支持 Llama 3、Phi 3、Gemma、Mistral 和 Qwen 系列。
• 客户端执行：完全在浏览器内运行，无需服务器支持。
• 性能优化：支持将计算卸载到 Web Workers 或 Service Workers，以保持 UI 响应灵敏。
• 自定义模型集成：允许用户部署 MLC 格式的自定义模型。