av/harbor

Stop configuring your AI stack. Start using it. One command brings a complete pre-wired LLM stack with hundreds of services to explore.

Harbor – 一命令啟動的本地 LLM 堆疊

這是什麼 – Harbor 是一個 CLI + 桌面風格的輔助應用程式，透過 Docker‑Compose 協調一整套 AI 服務（LLM 後端、聊天前端、網路搜尋、語音、影像生成、工作流程工具等）。僅需一個 harbor up … 命令，即可獲得一個即時可用的堆疊：模型伺服器（Ollama、llama.cpp、vLLM、…）、如 Open WebUI 之類的使用者介面，以及可選的衛星服務，例如用於網路 RAG 的 SearXNG、語音轉文字／文字轉語音的 Speaches、影像生成的 ComfyUI，以及其他許多功能。

核心理念

概念	含義
零設定啟動	`harbor up` 會拉取所需的 Docker 映像檔，建立 compose 檔案，將服務相互連接並啟動。無需手動設定網路或編輯環境變數檔案。
可插入的後端	可選擇任何支援的推理引擎（Ollama、llama.cpp、vLLM、MLX、Docker‑Model‑Runner 等），Harbor 會為前端提供 OpenAI 兼容的端點。
豐富的 UI 目錄	預先設定超過 20 種前端（Open WebUI、LibreChat、AnythingLLM、ComfyUI、Voicebox、…），可與所選模型直接對接。
衛星與代理	如 SearXNG（網路搜尋）、Speaches（STT/TTS）、Dify、Flowise、n8n、Boost 智能模組等服務，可使用相同命令加入，並自動連接至模型。
增強工作流程引擎	輕量級的「智能」層可讓你將模組（quickhop、deephop、autocheck、diffscope）串接成自訂工作流程，在模型呼叫前或後執行。
可攜帶且可匯出	`harbor eject` 會輸出一份純粹的 `docker‑compose.yml`，重現目前的設定，方便日後脫離 Harbor。
便利的輔助工具	手機存取用的 QR 碼／URL 快捷方式、內建的 Traefik 反向代理、隧道功能（`harbor tunnel`）用於公開網路存取、命令歷史記錄，以及各服務的設定檔。

快速入門（來自 README）

# 安裝 CLI（倉儲中提供腳本）– 然後：
harbor up               # 啟動 Open WebUI + 預設的 LLM 後端
harbor up searxng speaches   # 加入網路搜尋與語音功能

指令執行完畢後，即可在 http://localhost:3000（或輸出顯示的埠號）開啟 UI，開始聊天、搜尋網路或生成影像。

主要功能群組

1. 本地 LLM

僅需一命令即可執行任何支援的後端（ollama、llamacpp、vllm、mlx、dmr、…）。
在 macOS 上使用主機原生 Metal/GPU 推理（MLX/oMLX）——計算無需容器。

2. 前端（UIs）

Open WebUI、LibreChat、AnythingLLM、ComfyUI、Voicebox 等。
所有前端會自動指向正在執行的模型端點。

3. 卫星與工具

搜尋 – SearXNG、Perplexica、Morphic、Local Deep Research。
語音 – Speaches（STT/TTS）、基於 Whisper 的服務。
影像 – ComfyUI + Flux 整合。
工作流程／自動化 – Dify、Flowise、LangFlow、n8n、LitLytics 等。

4. Boost – 智能程式碼助理

預建模組（quickhop、deephop、autocheck、diffscope）。
透過 workflows.yaml 或環境變數定義自訂工作流程。
可從 CLI 呼叫：harbor launch --workflow deephop … codex。

5. 開發輔助工具

harbor launch – 檢測正在執行的後端，將其 OpenAI 兼容的 URL 注入至 codex、claude、vscode 等工具中。
設定檔（harbor profile save …、harbor profile use …）。
歷史記錄（harbor history）、各服務的 down/restart，以及原子級的 .env 修復。

常見使用情境

使用情境	Harbor 如何協助
試用新的 LLM	在數秒內啟動 `ollama` 或 `llama.cpp` 並載入所需模型，接著開啟 Open WebUI 開始對話。
為聊天機器人加入網路搜尋功能	`harbor up searxng` 會自動將 SearXNG 連接至模型；UI 現在可執行 RAG 式搜尋。
語音優先的助理	`harbor up speaches` 為你提供語音轉文字與文字轉語音的端點，並與聊天 UI 串接。
執行本地影像生成流程	`harbor up comfyui` 安裝 ComfyUI + Flux，並讓其可從同一個 Open WebUI 實例存取。
建立多步驟 AI 工作流程	定義 Boost 工作流程（例如 `quickhop → autocheck → answer`），並以 `harbor launch --workflow …` 執行。
在無 Docker 推理環境的筆電上開發	在 macOS 上使用主機原生 MLX/oMLX 後端；Harbor 仍透過 Docker 提供周邊服務。
外部分享示範	`harbor tunnel` 建立暫時的公開 URL（類似 ngrok），公開任何服務，適合快速示範。

安裝與入門

克隆並安裝 CLI – 倉儲提供腳本（install.sh），將 harbor 二進位檔加入 $PATH。
Docker – Harbor 依賴 Docker Compose；請確保 Docker Desktop（或 Docker 引擎）正在執行。
首次啟動 – harbor up 拉取預設堆疊（Open WebUI + 輕量後端）並啟動。
新增服務 – 例如 harbor up ollama、harbor up searxng speaches、harbor up comfyui。
可選的 UI – 輔助「Harbor App」提供堆疊的圖形化檢視與常用指令的捷徑。

文件與社群

Wiki – 安裝、各服務、Boost 模組與 CLI 參考的詳細頁面。
Discord – 活躍的聊天室（discord.gg/8nDRphrhSF），用於故障排除與功能建議。
發行說明 – 頻繁更新（v0.5.x），新增後端、Boost 模組與穩定性修復。
Ko‑fi – 透過 README 中的徽章支援維護者。

簡要總結

Harbor 是一個 一命令協調器，用於完整的本地 AI 生態系。它隱藏了 Docker‑Compose 的複雜性，自動將模型伺服器與數十種 UI 及輔助服務連接，並加入輕量級的智能工作流程層（Boost）。如果你希望在自己的機器上運行 LLM、RAG、語音或影像生成，又不想煩惱網路設定或環境變數檔案，Harbor 給你一個即用、可擴展的堆疊。