mlc-ai/web-llm

解決する課題

WebLLMは、高性能な大規模言語モデル（LLM）推論をWebブラウザに直接持ち込みます。サーバーサイドでの処理の必要性を排除することで、ユーザーのプライバシーを強化し、モデル実行における外部APIへの依存を解消します。

仕組み

WebLLMは、ハードウェアアクセラレーションのためにWebGPUを、最適なパフォーマンスのためにWebAssembly (WASM) を活用しています。Webアプリケーション、Chrome拡張機能に統合したり、CDN経由で使用したりできるモジュール型のnpmパッケージとして設計されています。このエンジンは、Cache API、IndexedDB、OPFSなどのさまざまなキャッシュバックエンドをサポートし、ブラウザ内でモデルの重みを効率的に管理します。

対象ユーザー

GPUアクセラレーションを使用して、クライアントサイドでLLMをローカルに実行したいAIアシスタント、チャットボット、またはブラウザ拡張機能を構築するWeb開発者向けです。

ハイライト

• OpenAI API互換性: OpenAI APIと完全互換で、ストリーミング、JSONモード、シードをサポートしています。
• 幅広いモデルサポート: Llama 3、Phi 3、Gemma、Mistral、Qwenファミリーをネイティブでサポートしています。
• クライアントサイド実行: サーバーサポートを必要とせず、完全にブラウザ内で動作します。
• パフォーマンス最適化: UIをレスポンシブに保つために、Web WorkersまたはService Workersへの計算オフロードをサポートしています。
• カスタムモデル統合: MLC形式のカスタムモデルのデプロイをユーザーに許可します。