Generated-Computers/Locals

解決する課題

Mac上でコーディングエージェント（OpenCode、Cline、Aiderなど）のためにAIモデルを実行するのは、通常遅く、扱いづらいものです。これらのエージェントは多くのツール呼び出しを行い、長い会話を維持し、頻繁に並列実行されますが、一般的なローカルモデルサーバーは単純なチャット用に構築されており、このようなワークロードには適していません。Localsはエージェント専用に設計されたローカルサーバーであり、Appleシリコン上で最大3倍の高速化を実現しつつ、すべてを自身のマシン内に保持します。

仕組み

LocalsはAIモデルをMacのGPU上で直接実行します。リクエストを1つずつ処理するのではなく、複数のエージェントからのリクエストをバッチ処理し、少数の同時リクエストに最適化されたGPUカーネルを使用します。これにより、8つのエージェントが完了するまでの時間が、2つが順番に完了する時間とほぼ同等になります。また、返答生成時にGPU上で直接文法を適用するため、ツール呼び出しやJSON出力は常に必要なスキーマに一致し、破損や不正な呼び出しが発生しません。会話やシステムプロンプトはキャッシュされ、ターン間で再利用されるため、長時間のセッションもほぼ瞬時に開始されます（138,000トークンの会話の次のターンは2.4秒で開始）。さらに、反復ループの検出、メモリ不足によるクラッシュの防止、エージェントがハングアップした際のサーバー解放といった安全ガードも備えています。

対象ユーザー

MacでAIコーディングアシスタントを使用しており、より高速で信頼性の高い動作を求める開発者。OpenCode、Cline、Aider、OpenHands、Claude Codeなどのツールや、OpenAI、Anthropic、Ollama APIを話すあらゆるアプリと連携します。Appleシリコン（M1以降）を搭載したMacとmacOS 14以降が必要です。多数のエージェントインスタンスを同時に実行する場合や、長いプロンプトを扱う場合に特に有用です。

ハイライト

• 並列エージェントの高速化: 8つの同時リクエストで、mlx-lmと比較して3.1倍のトークンスループットを実現（M2 Proで271 vs 87 tokens/s）。
• 常に有効なツール呼び出し: 返答はGPU側の文法によって制約されるため、フィールドと引数は常にスキーマに一致します。
• 高速な再開: プロンプトと会話はディスクにキャッシュされるため、再起動後のエージェントの最初のリクエストは16秒ではなく1.7秒で完了します。
• シングルコマンドセットアップ: locals codeでプロジェクト内でOpenCodeを開き、locals launchで他の多くのエージェントツールに接続します。
• チームモード: locals runはタスクを複数のエージェントに分割し、それぞれがプロジェクトのコピー内で実行され、テストが通過した場合のみ変更を適用します。
• 既存ツールとの互換性: 通常のポートでOllama、LM Studio、mlx-lm、またはllama.cppサーバーを置き換えることができるため、既存のクライアントは変更なしでそのまま動作します。