RunanywhereAI/on-device-browser-agent

What it solves

它解決了使用 AI 網頁代理程式時對雲端 API 金鑰和外部伺服器的需求。透過在使用者機器上直接運行模型，它確保了頁面內容和提示詞（prompts）永遠不會離開瀏覽器，提供了一種私密、免費且零配置的網頁任務自動化方式。

How it works

這個專案是 Nanobrowser 的一個分支（fork），它將雲端 LLM 呼叫替換為裝置端推理（inference）。它使用 RunAnywhere SDK，利用 WebAssembly 和 WebGPU 來在 Chrome 擴充功能本身內部執行模型。雖然預設為本地執行，但它保留了連接到雲端提供商以處理需要更強大前沿模型（frontier models）的任務的能力。

Who it’s for

想要在不需訂閱費用或 API 金鑰的情況下，在本地運行私密 AI 瀏覽器代理程式的使用者，以及對透過 WebGPU 進行裝置端 AI 執行而感興趣的開發者。

Highlights

• Local-first inference: 使用 WebAssembly 和 WebGPU 在擴充功能內部的本地優先推理。
• Privacy-centric: 預設情況下，頁面數據和提示詞（prompts）保留在本地機器上。
• Zero configuration: 根據使用者硬體自動選擇模型。
• Hybrid flexibility: 同時支援本地模型和可選的雲端 LLM 提供商。