sauravpanda/BrowserAI

Run local LLMs like llama, deepseek-distill, kokoro and more inside your browser

何を解決するか

BrowserAI は、Web ブラウザ内で本番環境対応の AI モデルを実行する方法を提供し、高価なサーバーサイドインフラの必要性を排除するとともに、すべてのデータ処理をローカルで行うことで、ユーザーのプライバシーを100%確保します。

動作方法

JavaScript SDK を使用し、WebGPU 加速によりニアネイティブなパフォーマンスを実現します。このライブラリは、MLC、Transformers、Flare（WASM を通じた GGUF モデル用）、Demucs といった複数の推論エンジンをサポートしており、テキスト、音声、音声関連のタスクに適したさまざまな事前最適化モデルをロードして実行できます。

対象ユーザー

AI 機能を搭載したアプリケーションを開発するウェブ開発者。
プライバシーを重視した AI ソリューションを必要とする企業。
インフラの負担なしに実験したい AI 研究者や趣味の開発者。
ノーコードプラットフォームの構築者。

特徴

ローカル実行: すべての処理がブラウザ内で行われるため、オフライン対応とサーバー費用ゼロを実現します。
マルチモーダル対応: テキスト生成（LLM）、音声認識（Whisper）、音声合成（Kokoro）、音声源分離（Demucs）をサポートします。
開発者向け API: モデルのロード、JSON スキーマ対応のテキスト生成、会話の管理を簡単な SDK で実現します。
広範なモデル対応: Llama、Qwen、Gemma、Phi、DeepSeek などのモデルを、さまざまなエンジンで利用可能。