sauravpanda/BrowserAI

解決的問題

BrowserAI 提供了一種在瀏覽器中直接執行生產就緒的 AI 模型的方法，無需昂貴的伺服器端基礎設施，並透過將所有資料處理保留在本地，確保 100% 的使用者隱私。

工作原理

它使用一個 JavaScript SDK，利用 WebGPU 加速以實現接近原生的效能。該程式庫支援多種推論引擎——包括 MLC、Transformers、Flare（透過 WASM 支援 GGUF 模型）以及 Demucs——讓開發者可以載入並執行多種預先優化的模型，用於文字、語音和音訊任務。

適用對象

• 建構 AI 驅動應用程式的網路開發者。
• 需要注重隱私的 AI 解決方案的公司。
• 希望無需基礎設施負擔即可進行實驗的 AI 研究人員與愛好者。
• 無程式碼平台建構者。

主要特色

• 本地執行：所有處理都在瀏覽器中進行，支援離線運作且無伺服器成本。
• 多模態功能：支援文字生成（LLMs）、語音轉文字（Whisper）、文字轉語音（Kokoro）以及音訊來源分離（Demucs）。
• 開發者友善的 API：簡單的 SDK 用於載入模型、以 JSON schema 支援生成文字，以及管理對話。
• 廣泛的模型支援：相容於 Llama、Qwen、Gemma、Phi 和 DeepSeek 模型，跨不同引擎運作。

"這讓我們能在不依賴雲端的情況下，將先進的 AI 功能直接帶入瀏覽器。" — @handle