harbor：統一的編排器，用於部署與管理完整的本地 LLM 堆疊

它解決了什麼問題

Harbor 簡化了建立與管理本地 AI 堆疊的複雜流程。與其手動設定多個 Docker 容器、環境變數以及後端、前端與支援服務之間的網路連線，Harbor 提供統一的 CLI 與伴隨應用程式，讓這些元件的部署與編排變得輕而易舉。

它如何運作

Harbor 作為 Docker Compose 之上的編排層。使用者只需透過簡單指令如 harbor up [service] 即可啟動預先配置好的服務（例如 Ollama、vLLM 或 Open WebUI）。它會自動處理跨服務的連線與設定，確保前端已預先接線至相應的後端。另有 harbor launch 指令，可將本地後端與主機上的程式編寫工具與代理整合。

目標對象

此工具設計給開發者、AI 研究者與愛好者使用，讓他們能在不需手動建置基礎設施的情況下，運行完整且整合的本地 LLM 環境——包括 RAG、語音聊天與圖像生成。

重點特色

• 一鍵部署：使用 harbor up 快速啟動後端（Ollama、llama.cpp、vLLM）、前端（Open WebUI）以及附屬服務（SearXNG、Speaches）。
• 代理式程式編寫整合：harbor launch 指令將本地模型接入主機工具，如 Claude Code、Codex 與 VS Code。
• Harbor Boost：一套將代理模組（網路研究、稽核、範圍檢查）串接成自訂工作流程的系統，供程式編寫代理使用。
• 廣泛的後端支援：支援多種推論引擎，包含 macOS 上透過 MLX 與 oMLX 的原生 Metal/GPU 加速。
• 本地 Web RAG：預先將搜尋引擎（如 SearXNG）連接至各種 UI 與深度研究工具。
• 基礎設施工具：內建遠端存取的隧道、行動裝置的 QR Code，以及「eject」功能，可將整個設定匯出為獨立的 Docker Compose 檔案。