AtomicBot-ai/Atomic-Chat

何を解決するか

Atomic Chat は、ユーザーのマシン上でオープンウェイトの大規模言語モデル（LLM）をプライベートかつローカルに実行できる環境を提供し、すべてのやり取りでクラウドプロバイダーに依存する必要をなくします。また、他のAIエージェントやツールがAPI経由で利用できるローカル推論エンジンとしても機能します。

動作方法

アプリケーションは、HuggingFaceからモデルを実行するために、カスタムの TurboQuant フォーク版 llama.cpp、公式の llama.cpp、および Apple Silicon 向けの MLX-VLM の3つの異なる推論エンジンを統合しています。http://localhost:1337/v1 に OpenAI互換サーバーを公開しており、OpenAI SDKをサポートするあらゆるツールがローカルモデルをバックエンドとして利用できます。また、ローカルとクラウドAIを組み合わせたいユーザー向けに、クラウドモデルプロバイダーもサポートしています。

対象ユーザー

AI会話の完全なプライバシーを求めるユーザー、ローカル推論バックエンドが必要なAIエージェント開発者、特定のハードウェア（macOS、Windows、Linux、iOS、Android）上でLLMのパフォーマンスを最適化したいエンジニアや愛好家向けに設計されています。

特徴

• 高性能デコード: Multi-Token Prediction (MTP)、DFlashブロックディフュージョン、Flash Attention をサポートし、スループットを大幅に向上。
• メモリ最適化: TurboQuant KVキャッシュにより、CPUおよびGPU上のメモリ使用量を削減。
• エージェント統合: クラウドコード、Cline、OpenHandsなど、さまざまなエージェントをワンクリックで起動可能。Model Context Protocol (MCP) サポートも実装。
• 多様なデプロイ: macOS、Windows、Linux向けデスクトップアプリ、iOSおよびAndroid向けモバイルアプリとして提供。
• 開発者向け: 既存のAIツールとの統合を容易にする、即插即用のOpenAI互換APIを提供。