harbor: 完全なローカルLLMスタックをデプロイおよび管理するための統合オーケストレーター

何を解決するか

Harborは、ローカルAIスタックのセットアップと管理という複雑なプロセスを簡素化します。バックエンド、フロントエンド、およびサポートサービス間の複数のDockerコンテナ、環境変数、およびネットワーク接続を手動で設定する代わりに、Harborは統合されたCLIとコンパニオンアプリを提供し、これらのコンポーネントを簡単にデプロイおよびオーケストレーションします。

仕組み

Harborは、Docker Compose上のオーケストレーションレイヤーとして機能します。harbor up [service]のような簡単なコマンドを使用して、事前設定済みのサービス（Ollama、vLLM、またはOpen WebUIなど）を起動することができます。サービス間の接続性と設定を自動的に処理し、フロントエンドがそれぞれのバックエンドに事前接続されるようにします。また、ローカルのバックエンドをホストベースのコーディングツールやエージェントと統合するためのharbor launchコマンドも含まれています。

対象者

手動のインフラストラクチャセットアップのオーバーヘッドなしに、RAG、音声チャット、画像生成を含む、完全で統合されたローカルLLM環境を実行したい開発者、AI研究者、および愛好家向けに設計されています。

ハイライト

• ワンコマンド・デプロイ: harbor upを使用して、バックエンド（Ollama、llama.cpp、vLLM）、フロントエンド（Open WebUI）、およびサテライト（SearXNG、Speaches）を迅速に起動します。
• エージェンティック・コーディング統合: harbor launchコマンドにより、ローカルモデルをClaude Code、Codex、およびVS Codeのようなホストツールに接続します。
• Harbor Boost: コーディングエージェント用のカスタムワークフローに、エージェンティック・モジュール（ウェブ検索、監査、スコープチェック）を連鎖させるためのシステムです。
• 幅広いバックエンド・サポート: MLXおよびoMLXを介したmacOS用のホストネイティブなMetal/GPUアクセラレーションを含む、幅広い推論エンジンをサポートしています。
• ローカルWeb RAG: SearXNGのような検索エンジンを各種UIやディープリサーチツールに事前接続します。
• インフラストラクチャ・ツール: リモートアクセス用の組み込みトンネリング、モバイルアクセス用のQRコード、およびセットアップをスタンドアロンのDocker Composeファイルとしてエクスポートする「eject」機能が含まれています。