av/harbor

Stop configuring your AI stack. Start using it. One command brings a complete pre-wired LLM stack with hundreds of services to explore.

解決的問題

搭建本地 AI 環境非常複雜，需要手動配置多個後端、前端及支援服務。Harbor 實現了這一編排過程的自動化，提供了一個開箱即用的預配置工具生態系統。

工作原理

Harbor 透過 CLI 和配套應用程式來管理 Docker Compose 編排。使用者可以使用 harbor up 等指令來啟動特定服務（如 Ollama 或 vLLM）或整個技術棧。它處理配置、跨服務連接，甚至為 macOS 提供原生推理（透過 MLX/oMLX），以規避容器開銷。它還包含一個用於鏈接智能體工作流的 "Boost" 模組，以及一個用於安全地將本地服務暴露到網際網路的隧道服務。

適用對象

  • 希望無需手動配置即可執行本地 LLM 和編程智能體（如 Codex 或 Aider）的開發者。
  • 正在尋找包含網路搜尋 (SearXNG)、圖像生成 (ComfyUI) 和語音聊天 (Speaches) 在內的完整、私密 AI 技術棧的使用者。
  • 需要編排複雜智能體工作流和多步研究任務的工程師。

亮點

  • 一鍵式設定：透過簡單的 CLI 指令啟動後端、前端和衛星服務。
  • 廣泛的服務目錄：支援 vLLM、llama.cpp 和 Ollama 等主流引擎，以及 Open WebUI 和 LibreChat 等 UI。
  • 智能體工作流：包含用於自動網路研究、審計和範圍檢查的 "Boost" 模組。
  • 靈活的連接性：為主機端編程工具提供相容 OpenAI 的後端，並支援 MCP 生態系統。