AtomicBot-ai/Atomic-Chat

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

Atomic Chat – 本地 AI 聊天与推理引擎

是什么 – 一款适用于桌面（macOS、Windows、Linux）和移动设备（iOS、Android）的应用程序，允许您在自己的机器上运行开放权重的 LLM。它捆绑了一个小型“核心”服务，会在 http://localhost:1337/v1 启动一个 OpenAI 兼容 HTTP 服务器。任何与 OpenAI API 通信的工具（编码代理、IDE 插件、CLI 辅助工具等）都可以指向该地址，并将本地加载的模型当作云服务使用。

主要功能（如 README 所述）

本地模型支持 – Hugging Face GGUF 模型，如 Llama、Gemma、Qwen、Mistral、Phi 等。
加速技巧 –
- 多标记预测（MTP） 推测解码（快 30–70%，Gemma 4 上最高达 3 倍）。
- DFlash 块扩散解码（某些模型上最高快 6 倍，仅限 Apple‑Silicon）。
- TurboQuant KV 缓存（适用于 llama.cpp，内存减少约 4.3 倍，支持 Windows、Linux、macOS、CPU 与 GPU）。
- EAGLE‑3 推测解码（Apple‑Silicon 上的 Gemma 4，使用 MLX）。
引擎选项 – 三个后端可通过相同 API 选择：
1. atomic-llama-cpp-turboquant（带 TurboQuant 的 llama.cpp 分支）。
2. 上游 llama.cpp（Windows/Linux 默认，支持 MTP）。
3. MLX‑VLM（Apple‑Silicon 原生，也可运行视觉-语言模型）。
云模型回退 – 内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 提供商；可在同一聊天中混合使用本地与云模型。
一键代理集成 – 按钮可启动流行的开源代理（Atomic Agent、Claude Code、OpenCode、Goose、Kilo Code 等），自动使用本地服务器。
隐私优先 – 服务器默认绑定到 127.0.0.1；本地模型无需 API 密钥，所有对话数据均保留在您的设备上。
API 兼容性 – 与 OpenAI chat/completions 端点完全相同的请求格式；支持 curl、官方 openai Python 客户端，或任何期望 OpenAI 端点的 IDE 插件。

快速入门（开始使用）

下载从发布页面获取合适的二进制文件（macOS DMG、Windows EXE、Linux AppImage）或从 App Store / Play Store 安装移动应用。
启动应用，从 Hugging Face 添加模型（UI 会为您自动下载 GGUF 文件）。
模型加载完成后，应用会自动在端口 1337 上启动本地 OpenAI 兼容服务器。

将任何客户端指向 http://localhost:1337/v1 – 例如：

curl http://localhost:1337/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"gemma-2b-it","messages":[{"role":"user","content":"Say hello"}]}'

或在 Python 中：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:1337/v1", api_key="not-needed")
resp = client.chat.completions.create(model="gemma-2b-it", messages=[{"role":"user","content":"Say hello"}])
print(resp.choices[0].message.content)

从源码安装（开发者用）

前置条件：Node ≥ 20、Yarn ≥ 4.5、Make、Rust（用于 Tauri），Apple Silicon 上还需 Metal 工具链。

构建：

git clone https://github.com/AtomicBot-ai/Atomic-Chat
cd Atomic-Chat
make dev   # 安装依赖、构建核心、启动应用

可用的 make 目标：dev、build、test、clean。

重头工作（模型下载、引擎启动、API 路由）位于独立仓库 atomic‑chat‑core，也可作为独立 CLI 运行（atomic-chat-core serve …）。

系统要求

操作系统	最低硬件要求
macOS 13.6+	3 B 模型：8 GB 内存，7 B 模型：16 GB，13 B 模型：32 GB
Windows 10/11 x64	相同内存指南
Linux x86_64 (glibc ≥ 2.35)	相同内存要求；可选 Vulkan 驱动用于 GPU 加速
iOS / Android	应用商店版本

谁会使用它？

不愿将数据发送到云端，希望安全实验 LLM 的隐私敏感型开发者。
已使用 OpenAI API 的工具构建者（编码助手、IDE 插件、自主代理）——只需更改基础 URL 即可立即切换到本地模型。
寻找现成 UI 和 API 层以运行 llama.cpp、MLX‑VLM 或其他开放权重模型的研究人员或爱好者。

社区与支持

Discord：https://discord.com/invite/8wGSsvmg4V
GitHub issues 用于报告错误。
贡献：欢迎在 UI 仓库（本仓库）和核心仓库中提交 PR。

总结

Atomic Chat 是一个跨平台 GUI，可将开放权重 LLM 转换为本地 OpenAI 兼容服务器，提供多种加速推理后端，并与流行的开源 AI 代理即插即用集成。适合任何希望使用熟悉 API 实现私有、设备内 LLM 推理的人。