harbor: 用于部署和管理完整本地 LLM 技术栈的统一编排器

它解决了什么问题

Harbor 简化了设置和管理本地 AI 技术栈的复杂过程。Harbor 不再需要手动配置多个 Docker 容器、环境变量以及后端、前端和支持服务之间的网络连接，而是提供了一个统一的 CLI 和配套应用，以便轻松地部署和编排这些组件。

工作原理

Harbor 作为 Docker Compose 之上的编排层运行。它允许用户使用简单的命令，如 harbor up [service]，来启动预配置的服务（例如 Ollama、vLLM 或 Open WebUI）。它会自动处理跨服务连接和配置，确保前端已预先连接到其相应的后端。它还包含一个 harbor launch 命令，用于将本地后端与基于主机的编码工具和智能体集成。

适用人群

它专为开发者、AI 研究人员和爱好者设计，旨在让他们在无需手动设置基础设施开销的情况下，运行一个完整的、集成的本地 LLM 环境——包括 RAG、语音聊天和图像生成。

亮点

• 一键部署：通过 harbor up 快速启动后端（Ollama、llama.cpp、vLLM）、前端（Open WebUI）和卫星服务（SearXNG、Speaches）。
• 智能体编码集成：harbor launch 命令将本地模型连接到 Claude Code、Codex 和 VS Code 等主机工具中。
• Harbor Boost：一个将智能体模块（网络研究、审计、范围检查）链接到编码智能体自定义工作流的系统。
• 广泛的后端支持：支持多种推理引擎，包括通过 MLX 和 oMLX 为 macOS 提供的主机原生 Metal/GPU 加速。
• 本地 Web RAG：将 SearXNG 等搜索引擎预先连接到各种 UI 和深度研究工具。
• 基础设施工具：包括用于远程访问的内置隧道、用于移动端访问的二维码，以及用于将设置导出为独立 Docker Compose 文件的“eject”功能。