Ryan-yang125/ChatLLM-Web

Private local model studio, AI chat, and agent workspace powered by WebGPU and WebLLM.

解決的問題

ChatLLM Web 提供一個完全私密、瀏覽器原生的環境，用於與大型語言模型（LLMs）互動。它透過 WebGPU 在使用者裝置上直接執行模型，消除對外部伺服器、API 金鑰或帳戶的需求，確保對話與資料永遠不會離開本地機器。

運作方式

應用程式使用 WebLLM 在專用的 Web Worker 中執行模型，利用 WebGPU 透過裝置的 GPU 進行推論。它透過瀏覽器的 Cache API 管理模型資源（權重與 WASM），並將對話、偏好設定與產生的工件儲存在 IndexedDB 中。它包含一個模型工作室，可偵測裝置能力以推薦相容的模型，並支援透過 HTTPS 導入自訂 MLC 清單。

適用對象

適合希望擁有私密 AI 工作區的使用者、尋找本地程式碼助手的開發者，以及希望在不建構複雜本地環境的情況下，試用各種量化開源模型的進階使用者。

主要特色

  • 本地代理工作區：支援與特定模型（如 Hermes）進行原生函式呼叫，執行搜尋本地檔案、計算算術等任務。
  • 工件管理：在提交至本地儲存前，透過行差異審查流程建立與更新已儲存的工件。
  • 豐富的模型目錄：包含 20 個精選模型（聊天、程式碼、推理、視覺），並可存取超過 65 個官方邏輯模型。
  • 隱私優先：無後端、無遙測、無 API 金鑰；所有處理與儲存皆在瀏覽器中本地完成。
  • 本地上下文：可直接將文字、Markdown、JSON 與程式碼檔案作為模型的上下文附加。

相關

  • 專案
    addyosmani/chatty

    一個使用 WebGPU 在本地硬體上執行 LLM 的私有瀏覽器內 AI 聊天介面，支援離線使用與資料隱私保護。

  • 專案
    mlc-ai/web-llm

    一個高效能的瀏覽器內 LLM 推論引擎，使用 WebGPU 在本機執行語言模型，無需伺服器。

  • 專案
    sybil-solutions/local-studio

    Local Studio is an open‑source macOS/desktop app that lets you run, manage, and chat with self‑hosted LLM back‑ends (vLLM, SGLang, llama.cpp, MLX). It combines a Bun + Hono controller (model lifecycle, OpenAI‑compatible proxy, GPU metrics) with a Next.js/Electron UI and an integrated Pi coding‑agent. The UI works locally or can point at a remote controller, and a companion mobile app (KittyLitter) can pair to reuse the same sessions. The repo provides full dev‑setup scripts, production build instructions, and a CI‑driven release pipeline.

  • 專案
    ngxson/wllama

    一個為 llama.cpp 提供的 WebAssembly 綁定，利用 WebGPU 和 Wasm 在瀏覽器中直接執行 LLM、多模態模型和工具呼叫。

  • 專案
    sauravpanda/BrowserAI

    一個 JavaScript SDK，可利用 WebGPU 加速在瀏覽器中直接執行生產就緒的 LLM 和多模態 AI 模型，確保隱私且無伺服器成本。