web-llm: 它是什么，解决了什么问题以及为什么它正受到关注

它解决了什么问题

WebLLM 是一个高性能的推理引擎，允许大语言模型 (LLMs) 直接在 Web 浏览器中运行。这消除了对服务器端处理的需求，通过利用用户自身的硬件加速（通过 WebGPU），增强了用户隐私并降低了服务器成本。

它是如何工作的

WebLLM 使用 WebGPU 进行硬件加速，并使用 WebAssembly (WASM) 以获得最佳性能。它被设计为一个模块化的 npm 包，可以集成到 Web 应用中。它支持各种缓存后端（例如 Cache API、IndexedDB 和 OPFS）以便在浏览器中本地存储模型权重，从而避免每次都重新下载。为了防止 UI 滞后，它可以被卸载到 Dedicated Web Workers 或 Service Workers 中运行。

它是为谁准备的

想要在浏览器中本地部署 LLM 而无需管理后端基础设施的 AI 助手、聊天机器人或 Chrome 扩展程序的 Web 开发人员。

亮点

• OpenAI API 完全兼容：使用与 OpenAI 相同的流式传输、JSON-mode 和 seeding 的 API 模式。
• WebGPU 加速：完全在客户端运行的高性能推理。
• 广泛的模型支持：原生支持 Llama 3、Phi 3、Gemma、Mistral 和 Qwen。
• 结构化 JSON 生成：最先进的 JSON mode，可保证结构化输出。
• 灵活的部署：支持通过 NPM、Yarn 或 CDN 进行集成，并可以在 Web Workers 或 Service Workers 中运行以获得更好的性能。