av/harbor

解決する課題

ローカルAI環境の構築は複雑であり、複数のバックエンド、フロントエンド、およびサポートサービスの構成を手動で行う必要があります。Harborはこのオーケストレーションを自動化し、すぐに連携して動作するツール群の事前構築されたエコシステムを提供します。

仕組み

Harborは、CLIとコンパニオンアプリケーションを使用してDocker Composeのオーケストレーションを管理します。ユーザーは harbor up のようなコマンドを使用して、特定のサービス（OllamaやvLLMなど）またはスタック全体を起動できます。設定、サービス間の接続を処理し、さらにmacOSではコンテナのオーバーヘッドを回避するためにホストネイティブの推論（MLX/oMLX経由）を提供します。また、エージェントのワークフローを連鎖させる「Boost」モジュールや、ローカルサービスをインターネットに安全に公開するためのトンネリングサービスも含まれています。

対象ユーザー

• 手動設定なしでローカルLLMやコーディングエージェント（CodexやAiderなど）を実行したい開発者。
• Web検索（SearXNG）、画像生成（ComfyUI）、音声チャット（Speaches）を含む、完全でプライベートなAIスタックを求めるユーザー。
• 複雑なエージェントワークフローや多段階のリサーチタスクをオーケストレーションする必要があるエンジニア。

ハイライト

• ワンコマンド設定: シンプルなCLIコマンドでバックエンド、フロントエンド、サテライトを起動。
• 広範なサービスカタログ: vLLM、llama.cpp、Ollamaなどの主要エンジンに加え、Open WebUIやLibreChatなどのUIをサポート。
• エージェントワークフロー: 自動Webリサーチ、監査、スコープチェックのための「Boost」モジュールを搭載。
• 柔軟な接続性: ホスト側のコーディングツール向けにOpenAI互換のバックエンドを提供し、MCPエコシステムをサポート。