AtomicBot-ai/atomic-agent
Atomic Agent is a local-first AI agent. Runs open-weight models on your own machine via llama.cpp.
解決する課題
Atomic Agentは、クラウドホスト型サービスの高いコストやプライバシーの懸念なしに、複雑で多段階のタスクをユーザーのローカルマシン上で実行するために設計されたローカルファーストなAIエージェントです。増大する会話履歴によってモデルが圧倒されるのを防ぐ「コンテキスト節約ループ(context-frugal loop)」を実装することで、長期的な作業に小型ローカルモデルを使用する際の課題に対処します。
仕組み
このエージェントは制御ループ上で動作し、モデルが(文法制約付きのJSONツール呼び出しを介して)アクションを決定し、それを実行した後、結果をプロンプトに貼り戻すのではなく圧縮します。カスタムのTurboQuant llama.cpp バックエンドを活用し、KVキャッシュの量子化と推測デコードを通じてスループットを向上させ、メモリ使用量を削減します。
効率を維持するため、セッション、メモリ、タスクなどの状態をローカルのSQLiteデータベースやファイルに外部化しており、プロンプトには必要な時にのみ呼び出されるコンパクトなポインタのみが含まれます。クラウドモデルがオーケストレーターとして機能し、ローカルモデルが実行の大部分を処理する「Fusion」モードで実行することも可能です。
対象ユーザー
量子化されたローカルモデルやハイブリッドなクラウド・ローカル構成を使用して、自身のハードウェア上でブラウザの操作、ファイルの編集、シェルコマンドの実行を行いたい開発者やパワーユーザー。
ハイライト
- ローカルファーストアーキテクチャ: すべての状態、メモリ、制御ループがユーザーのディスク上に存在します。
- 幅広いツール対応: Webブラウジング (Playwright)、ファイルシステム操作、シェルコマンド実行、Git/GitHub統合、ドキュメント抽出が可能です。
- MCPサポート: 外部の Model Context Protocol (MCP) サーバーに接続し、ツールレジストリを拡張します。
- 高度なメモリシステム: プロフィール事実、エピソードメモ、抽出された教訓をSQLiteに保存するハイブリッドなリコールシステムを使用します。
- 高性能: TurboQuantを使用して小型ローカルモデルに最適化されており、スループットが30〜50%向上します。
- Fusionモード: 高性能なクラウドモデルがタスクを計画し、ローカルのワーカーモデル群に委任することを可能にします。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト