AtomicBot-ai/Atomic-Chat

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

Atomic Chat – ローカルAIチャットおよび推論エンジン

何であるか – macOS、Windows、Linux用のデスクトップアプリおよびiOS、Android用のモバイルアプリ。自宅のマシン上でオープンウェイトLLMを実行できる。小さな「コア」サービスをバンドルしており、http://localhost:1337/v1 でOpenAI互換HTTPサーバーを起動する。OpenAI APIと通信するツール（コーディングエージェント、IDEプラグイン、CLIヘルパーなど）は、このアドレスを指定して、ローカルにロードされたモデルをクラウドサービスのように利用できる。

主な機能（READMEに記載）

ローカルモデル対応 – Hugging Face GGUFモデル（Llama、Gemma、Qwen、Mistral、Phiなど）
高速化テクニック –
- マルチトークン予測（MTP） 指示的デコード（30–70％高速化、Gemma 4では最大3倍）
- DFlash ブロック拡散デコード（特定のモデルで最大6倍高速化、Apple‑Silicon専用）
- TurboQuant KVキャッシュ（llama.cpp用、メモリ使用量約4.3倍削減、Windows、Linux、macOS、CPUおよびGPU対応）
- EAGLE‑3 指示的デコード（Apple‑Silicon上のGemma 4用、MLX）
エンジン選択肢 – 同じAPIの裏で選択可能な3つのバックエンド：
1. atomic-llama-cpp-turboquant（TurboQuantを組み込んだllama.cppのフォーク）
2. オリジナルの llama.cpp（Windows/Linuxではデフォルト、MTPを提供）
3. MLX‑VLM（Apple‑Siliconネイティブ、視覚言語モデルも実行可能）
クラウドモデルフォールバック – OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshotの組み込みプロバイダー。同じチャット内でローカルモデルとクラウドモデルを混合使用可能。
ワンクリックエージェント統合 – Atomic Agent、Claude Code、OpenCode、Goose、Kilo Codeなど、人気のオープンソースエージェントをボタン1つで起動。自動的にローカルサーバーを使用。
プライバシー最優先 – サーバーはデフォルトで 127.0.0.1 にバインド。ローカルモデルにはAPIキー不要。すべての会話データはデバイス上に留まる。
API互換性 – OpenAI chat/completions エンドポイントと同一のリクエスト形式。curl、公式 openai Pythonクライアント、OpenAIエンドポイントを想定する任意のIDEプラグインと互換性あり。

クイックスタート（導入方法）

ダウンロード – リリースページから適切なバイナリ（macOS DMG、Windows EXE、Linux AppImage）を取得するか、App Store / Play Storeからモバイルアプリをインストール。
アプリを起動し、Hugging Faceからモデルを追加（UIがGGUFファイルを自動ダウンロード）。
モデルがロードされると、アプリは自動的にポート1337でローカルOpenAI互換サーバーを起動。

任意のクライアントを http://localhost:1337/v1 に接続 – 例：

curl http://localhost:1337/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"gemma-2b-it","messages":[{"role":"user","content":"Say hello"}]}'

またはPythonで：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:1337/v1", api_key="not-needed")
resp = client.chat.completions.create(model="gemma-2b-it", messages=[{"role":"user","content":"Say hello"}])
print(resp.choices[0].message.content)

ソースからのインストール（開発者向け）

前提条件：Node ≥ 20、Yarn ≥ 4.5、Make、Rust（Tauri用）、Apple SiliconではMetalツールチェーン。

ビルド：

git clone https://github.com/AtomicBot-ai/Atomic-Chat
cd Atomic-Chat
make dev   # デペンデンシーのインストール、コアのビルド、アプリの起動

利用可能な make ターゲット：dev、build、test、clean。

重い処理（モデルダウンロード、エンジン起動、APIルーティング）は別リポジトリ atomic‑chat‑core にあり、スタンドアロンCLIとして実行可能（atomic-chat-core serve …）。

システム要件

OS	最低限のハードウェア
macOS 13.6+	3 Bモデル：8 GB RAM、7 Bモデル：16 GB、13 Bモデル：32 GB
Windows 10/11 x64	同じRAM要件
Linux x86_64 (glibc ≥ 2.35)	同じRAM要件；GPU加速のためのオプションVulkanドライバー
iOS / Android	App Store版

どんな人が使うか？

クラウドにデータを送信せずにLLMを実験したい、プライバシーに配慮する開発者。
既にOpenAI APIを扱うツールビルダー（コーディングアシスタント、IDEプラグイン、自律エージェント） – ベースURLを変更するだけで、ローカルモデルに即座に切り替え可能。
llama.cpp、MLX‑VLM、またはその他のオープンウェイトモデルの上に、すぐに使えるUIとAPIレイヤーを探している研究者／趣味人。

コミュニティとサポート

Discord：https://discord.com/invite/8wGSsvmg4V
バグ報告用の GitHub issues。
貢献：UIリポジトリ（このリポジトリ）とコアリポジトリの両方でPRを受け入れています。

TL;DR

Atomic Chatは、オープンウェイトLLMをローカルのOpenAI互換サーバーに変換するクロスプラットフォームGUIです。複数の高速化推論バックエンドと、人気のオープンソースAIエージェントへの即時統合を提供します。馴染みのあるAPIで、プライベートかつデバイス内でのLLM推論を実現したいすべての人向けです。