av/harbor

Stop configuring your AI stack. Start using it. One command brings a complete pre-wired LLM stack with hundreds of services to explore.

Harbor – 一键式本地 LLM 技术栈

它是什么 – Harbor 是一个 CLI + 桌面风格的伴侣应用，它通过 Docker-Compose 编排一整套 AI 服务（LLM 后端、聊天前端、网页搜索、语音、图像生成、工作流工具等）。只需一个 harbor up ... 命令，你就能获得一个开箱即用的技术栈：模型服务器（Ollama, llama.cpp, vLLM, ...）、Open WebUI 等 UI，以及可选的卫星服务，如用于 Web-RAG 的 SearXNG、用于语音转文字/文字转语音的 Speaches、用于图像生成的 ComfyUI 等。

核心理念

理念	含义
零配置启动	`harbor up` 会拉取所需的 Docker 镜像，创建 compose 文件，将服务连接在一起并启动它们。无需手动配置网络或编辑 env-file。
可插拔后端	选择任何支持的推理引擎 – Ollama, llama.cpp, vLLM, MLX, Docker-Model-Runner, etc. – Harbor 会为前端暴露一个 OpenAI 兼容的端点。
丰富的 UI 目录	超过 20 种前端（Open WebUI, LibreChat, AnythingLLM, ComfyUI, Voicebox, ...）已预配置好以连接到所选的模型。
卫星服务与智能体	SearXNG (网页搜索), Speaches (STT/TTS), Dify, Flowise, n8n, Boost-agentic 模块, etc., 可以通过相同的命令添加，并会自动连接到模型。
Boost 工作流引擎	一个轻量级的“智能体”层，允许你将模块（quickhop, deephop, autocheck, diffscope）串联成自定义工作流，在模型调用前后运行。
可移植与可导出	`harbor eject` 会写入一个纯粹的 `docker-compose.yml` 文件，用于重现当前的设置，以便你以后可以脱离 Harbor 运行。
便捷的辅助工具	用于手机访问的 QR-code / URL 快捷方式、内置的 Traefik 反向代理、用于互联网暴露的隧道 (`harbor tunnel`)、命令历史记录以及每个服务的配置方案 (profile) 。

快速开始 (来自 README)

# 安装 CLI (repo 中提供的脚本) – 然后：
harbor up               # 启动 Open WebUI + 默认 LLM 后端
harbor up searxng speaches   # 添加网页搜索和语音功能

命令完成后，你可以通过 http://localhost:3000（或输出中显示的端口）打开 UI 并开始聊天、搜索网页或生成图像。

主要功能组

1. 本地 LLM

运行任何支持的后端 (ollama, llamacpp, vllm, mlx, dmr, ... ) 通过一个命令。
macOS 上的宿主原生 Metal/GPU 推理 (MLX/oMLX) – 计算任务无需容器化。

2. 前端 (UIs)

Open WebUI, LibreChat, AnythingLLM, ComfyUI, Voicebox, etc.
所有前端都会自动指向正在运行的模型端点。

3. 卫星服务与工具

搜索 – SearXNG, Perplexica, Morphic, Local Deep Research.
语音 – Speaches (STT/TTS), Whisper-based services.
图像 – ComfyUI + Flux 集成。
工作流 / 自动化 – Dify, Flowise, LangFlow, n8n, LitLytics, etc.

4. Boost – 智能体编程助手

预构建模块 (quickhop, deephop, autocheck, diffscope)。
通过 workflows.yaml 或 env vars 定义的自定义工作流。
可以从 CLI 调用：harbor launch --workflow deephop ... codex。

5. 开发辅助工具

harbor launch – 检测正在运行的后端，将其 OpenAI 兼容的 URL 注入到 codex, claude, vscode, etc. 等工具中。
配置方案 (profile) (harbor profile save ..., harbor profile use ...)。
历史记录 (harbor history), 每个服务的 down/restart, 以及原子的 .env 修复。

典型使用场景

使用场景	Harbor 如何提供帮助
尝试新 LLM	在几秒钟内启动 `ollama` 或 `llama.cpp` 带有预期的模型，然后打开 Open WebUI 进行聊天。
添加网页搜索到聊天机器人	`harbor up searxng` 会自动将 SearXNG 连接到模型；UI 现在可以进行 RAG 风格的搜索。
语音优先助手 native 宿主原生 (MLX/oMLX) 模式下，`harbor up speaches` 会为你提供连接到聊天 UI 的语音转文字和文字转语音端点。
运行本地图像生成流水线	`harbor up comfyui` 会安装 ComfyUI + Flux 并使其从同一个 Open WebUI 实例中访问。
构建多步 AI 工作流	定义一个 Boost 工作流 (例如， `quickhop → autocheck → answer`) 并使用 `harbor launch --workflow ...` 运行它。
在没有 Docker 的笔记本电脑上进行推理	在 macOS 上使用宿主原生 MLX/oMLM 模式；Harbor 仍然通过 Docker 提供周边服务。
外部分享演示	`harbor tunnel` 创建一个临时的公开 URL (ngrok 风格) 暴露任何服务，非常适合快速演示。

安装 & 获取开始

Clone & 安装 CLI – repo 提供了一个脚本 (install.sh)，可以将 harbor 二进制文件添加到你的 $PATH。
Docker – Harbor 依赖 Docker Compose; 确保 Docker Desktop (或 Docker 引擎) 运行中。
第一次启动 | harbor up 会拉取默认技术栈 (Open WebUI + 一个轻量级后端) 并启动它。
添加服务 | 例如， harbor up ollama, harbor up searxng speaches, harbor up up comfyui。
可选 UI | 伴侣应用 “Harbor App” 提供技术栈的 laica 视图和常用命令的快捷方式。

文档 & 社区

Wiki – 安装、每个服务、Boost 模块和 CLI 参考的详细页面。
Discord – 活跃的聊天室 (discord.gg/8nDRphrhSF) 用于故障排除和功能请求。
Release notes – 频繁的更新 (v0.5.x) 增加了新的后端、Boost 模块和稳定性修复。
Ko-fi – 通过 README 中的 badge 标志进行支持维护者。

TL;DR

Harbor 是一个完整的本地 AI 生态系统的 one-command orchestrator (一键式编排器) 。它隐藏了 Docker-Compose 的管道工作，自动将模型服务器连接到数十个 UI 和辅助服务，并添加了一个轻量级的智能体工作流层 (Boost)。如果你想在自己的机器上运行 LLM, RAG, 语音, 或图像生成，而不想在网络或 env 文件的配置上浪费时间，Harbor 给你提供了一个开箱即用、可扩展的技术栈。