Ryan-yang125/ChatLLM-Web

Private local model studio, AI chat, and agent workspace powered by WebGPU and WebLLM.

解决的问题

ChatLLM Web 提供了一个完全私密的、浏览器原生的环境，用于与大型语言模型（LLMs）进行交互。它通过使用 WebGPU 在用户设备上直接运行模型，消除了对外部服务器、API 密钥或账户的需求，确保对话和数据永远不会离开本地设备。

工作原理

该应用使用 WebLLM 在专用的 Web Worker 中运行模型，利用 WebGPU 通过设备的 GPU 进行推理。它通过浏览器的 Cache API 管理模型资产（权重和 WASM），并将对话、偏好设置和生成的工件存储在 IndexedDB 中。它包含一个模型工作室，可检测设备能力以推荐兼容的模型，并支持通过 HTTPS 导入自定义 MLC 清单。

适用人群

适用于希望拥有私密 AI 工作区的用户、寻找本地代码助手的开发者，以及希望在不搭建复杂本地环境的情况下尝试各种量化开源模型的高级用户。

主要亮点

  • 本地代理工作区：支持与特定模型（如 Hermes）进行原生函数调用，执行搜索本地文件、计算算术等任务。
  • 工件管理：在提交到本地存储前，通过行差分审查流程创建和更新已保存的工件。
  • 丰富的模型目录：包含 20 个精选模型（聊天、编码、推理、视觉），并可访问超过 65 个官方逻辑模型。
  • 隐私优先：无后端、无遥测、无 API 密钥；所有处理和存储均在浏览器中本地完成。
  • 本地上下文：可直接将文本、Markdown、JSON 和代码文件作为上下文附加给模型。

相关

  • 项目
    addyosmani/chatty

    一个使用 WebGPU 在本地硬件上运行 LLM 的私有浏览器内 AI 聊天界面，支持离线使用和数据隐私保护。

  • 项目
    mlc-ai/web-llm

    一个高性能的浏览器内 LLM 推理引擎，使用 WebGPU 在本地运行语言模型，无需服务器。

  • 项目
    sybil-solutions/local-studio

    Local Studio is an open‑source macOS/desktop app that lets you run, manage, and chat with self‑hosted LLM back‑ends (vLLM, SGLang, llama.cpp, MLX). It combines a Bun + Hono controller (model lifecycle, OpenAI‑compatible proxy, GPU metrics) with a Next.js/Electron UI and an integrated Pi coding‑agent. The UI works locally or can point at a remote controller, and a companion mobile app (KittyLitter) can pair to reuse the same sessions. The repo provides full dev‑setup scripts, production build instructions, and a CI‑driven release pipeline.

  • 项目
    ngxson/wllama

    一个为 llama.cpp 提供的 WebAssembly 绑定，利用 WebGPU 和 Wasm 在浏览器中直接运行 LLM、多模态模型和工具调用。

  • 项目
    sauravpanda/BrowserAI

    一个 JavaScript SDK，利用 WebGPU 加速在浏览器中直接运行生产就绪的 LLM 和多模态 AI 模型，保障隐私且零服务器成本。