av/harbor

Stop configuring your AI stack. Start using it. One command brings a complete pre-wired LLM stack with hundreds of services to explore.

解决的问题

搭建本地 AI 环境非常复杂，需要手动配置多个后端、前端及支持服务。Harbor 实现了这一编排过程的自动化，提供了一个开箱即用的预配置工具生态系统。

工作原理

Harbor 通过 CLI 和配套应用程序来管理 Docker Compose 编排。用户可以使用 harbor up 等命令来启动特定服务（如 Ollama 或 vLLM）或整个技术栈。它处理配置、跨服务连接，甚至为 macOS 提供原生推理（通过 MLX/oMLX），以规避容器开销。它还包含一个用于链接智能体工作流的 "Boost" 模块，以及一个用于安全地将本地服务暴露到互联网的隧道服务。

适用对象

  • 希望无需手动配置即可运行本地 LLM 和编程智能体（如 Codex 或 Aider）的开发者。
  • 正在寻找包含网络搜索 (SearXNG)、图像生成 (ComfyUI) 和语音聊天 (Speaches) 在内的完整、私密 AI 技术栈的用户。
  • 需要编排复杂智能体工作流和多步研究任务的工程师。

亮点

  • 一键式设置：通过简单的 CLI 命令启动后端、前端和卫星服务。
  • 广泛的服务目录：支持 vLLM、llama.cpp 和 Ollama 等主流引擎，以及 Open WebUI 和 LibreChat 等 UI。
  • 智能体工作流：包含用于自动网络研究、审计和范围检查的 "Boost" 模块。
  • 灵活的连接性：为主机端编程工具提供兼容 OpenAI 的后端，并支持 MCP 生态系统。