mlc-ai/web-llm

High-performance In-browser LLM Inference Engine

它解決了什麼問題

WebLLM 是一個高效能的推論引擎，讓大型語言模型（LLM）直接在網頁瀏覽器內執行。這消除了伺服器端處理的需求，透過 WebGPU 使用使用者自己的硬體加速，提升使用者隱私並降低伺服器成本。

它如何運作

WebLLM 使用 WebGPU 進行硬體加速，並以 WebAssembly（WASM）提供最佳效能。它被設計為模組化的 npm 套件，可整合至 Web 應用程式。支援多種快取後端（如 Cache API、IndexedDB 與 OPFS）將模型權重儲存在瀏覽器本機，避免每次都重新下載。為防止 UI 卡頓，可將運算委派給 Dedicated Web Workers 或 Service Workers。

目標對象

想在瀏覽器本機部署 LLM、且不想管理後端基礎設施的 AI 助手、聊天機器人或 Chrome 擴充功能開發者。

重點特色

  • 完整的 OpenAI API 相容性：使用與 OpenAI 相同的串流、JSON 模式與 seed API 方式。
  • WebGPU 加速：完全在客戶端執行的高效能推論。
  • 廣泛的模型支援：原生支援 Llama 3、Phi 3、Gemma、Mistral 與 Qwen。
  • 結構化 JSON 產生：最先進的 JSON 模式，保證輸出結構化。
  • 彈性部署：支援透過 NPM、Yarn 或 CDN 整合，亦可在 Web Workers 或 Service Workers 中執行以提升效能。