av/harbor

Stop configuring your AI stack. Start using it. One command brings a complete pre-wired LLM stack with hundreds of services to explore.

Harbor – 한 명령어로 실행하는 로컬 LLM 스택

무엇인가요 – Harbor는 Docker-Compose를 사용하여 전체 AI 서비스 패밀리(LLM 백엔드, 채팅 프론트엔드, 웹 검색, 음성, 이미지 생성, 워크플로우 도구 등)를 조율하는 CLI + 데스크톱 스타일의 보조 앱입니다. 단일 harbor up … 명령어로 사용 가능한 스택을 즉시 구축할 수 있습니다: 모델 서버(Ollama, llama.cpp, vLLM 등), Open WebUI와 같은 UI, 그리고 SearXNG(웹-RAG용), Speaches(음성-텍스트/텍스트-음성), ComfyUI(이미지 생성) 등 다양한 옵션 기능을 포함합니다.

핵심 아이디어

아이디어	의미
초기 설정 없음	`harbor up`은 필요한 Docker 이미지를 다운로드하고, 컴포즈 파일을 생성하며, 서비스들을 연결하고 실행합니다. 수동 네트워킹이나 환경 파일 편집이 필요 없습니다.
확장 가능한 백엔드	Ollama, llama.cpp, vLLM, MLX, Docker-Model-Runner 등 지원되는 추론 엔진 중 하나를 선택하면 Harbor는 프론트엔드와 호환되는 OpenAI 호환 엔드포인트를 제공합니다.
풍부한 UI 카탈로그	Open WebUI, LibreChat, AnythingLLM, ComfyUI, Voicebox 등 20개 이상의 프론트엔드가 선택한 모델과 통신하도록 미리 설정되어 있습니다.
위성 서비스 및 에이전트	SearXNG(웹 검색), Speaches(STT/TTS), Dify, Flowise, n8n, Boost-에이전트 모듈 등은 동일한 명령어로 추가되며, 자동으로 모델에 연결됩니다.
Boost 워크플로우 엔진	가벼운 '에이전트 기반' 레이어를 통해 모듈(quickhop, deephop, autocheck, diffscope)을 모델 호출 전/후에 맞춰 사용자 정의 워크플로우로 연결할 수 있습니다.
이동 가능하고 내보낼 수 있음	`harbor eject` 명령어는 현재 설정을 재현할 수 있는 단순한 `docker-compose.yml` 파일을 생성하여, 나중에 Harbor에서 벗어나도 되도록 합니다.
편의성 도구	스마트폰 접근을 위한 QR 코드/URL 단축, 내장된 Traefik 역방향 프록시, 인터넷 노출을 위한 터널링(`harbor tunnel`), 명령어 기록, 서비스별 구성 프로파일 등

빠른 시작 (README에서)

# CLI 설치 (리포지토리에 제공된 스크립트 사용) – 이후:
harbor up               # Open WebUI + 기본 LLM 백엔드 실행
harbor up searxng speaches   # 웹 검색 및 음성 기능 추가

명령어가 완료된 후 http://localhost:3000 (또는 출력된 포트)에서 UI를 열어 대화, 웹 검색, 이미지 생성을 시작할 수 있습니다.

주요 기능 그룹

1. 로컬 LLM

단일 명령어로 지원되는 백엔드(ollama, llamacpp, vllm, mlx, dmr, …)를 실행할 수 있습니다.
macOS에서 호스트 네이티브 Metal/GPU 추론(MLX/oMLX) – 계산을 위해 컨테이너가 필요하지 않습니다.

2. 프론트엔드 (UIs)

Open WebUI, LibreChat, AnythingLLM, ComfyUI, Voicebox 등
모든 프론트엔드는 자동으로 실행 중인 모델 엔드포인트를 가리킵니다.

3. 위성 서비스 및 도구

검색 – SearXNG, Perplexica, Morphic, Local Deep Research.
음성 – Speaches(STT/TTS), Whisper 기반 서비스.
이미지 – ComfyUI + Flux 통합.
워크플로우/자동화 – Dify, Flowise, LangFlow, n8n, LitLytics 등.

4. Boost – 에이전트 기반 코딩 보조 도구

사전 구축된 모듈(quickhop, deephop, autocheck, diffscope).
workflows.yaml 또는 환경 변수를 통해 사용자 정의 워크플로우 정의 가능.
CLI에서 호출 가능: harbor launch --workflow deephop … codex.

5. 개발용 편의 도구

harbor launch – 실행 중인 백엔드를 감지하고, codex, claude, vscode 등 도구에 OpenAI 호환 URL을 주입합니다.
구성 프로파일(harbor profile save …, harbor profile use …).
기록(harbor history), 서비스별 down/restart, 원자적 .env 복구.

일반적인 사용 사례

사용 사례	Harbor가 어떻게 도움이 되는가
새로운 LLM 실험하기	몇 초 만에 원하는 모델을 포함한 `ollama` 또는 `llama.cpp`를 실행하고 Open WebUI를 열어 대화를 시작할 수 있습니다.
챗봇에 웹 검색 추가하기	`harbor up searxng`는 SearXNG을 자동으로 모델에 연결합니다. 이제 UI에서 RAG 스타일의 검색이 가능합니다.
음성 중심 보조 도구	`harbor up speaches`는 음성-텍스트 및 텍스트-음성 엔드포인트를 채팅 UI에 연결해 줍니다.
로컬 이미지 생성 파이프라인 실행하기	`harbor up comfyui`는 ComfyUI + Flux를 설치하고, 동일한 Open WebUI 인스턴스에서 접근 가능하게 합니다.
다단계 AI 워크플로우 만들기	Boost 워크플로우(예: `quickhop → autocheck → answer`)를 정의하고 `harbor launch --workflow …`로 실행할 수 있습니다.
Docker 없이 추론을 위한 노트북에서 개발하기	macOS에서 호스트 네이티브 MLX/oMLX 백엔드를 사용할 수 있으며, Harbor는 여전히 Docker를 통해 주변 서비스를 제공합니다.
외부에 데모 공유하기	`harbor tunnel`은 임시 공개 URL(ngrok 스타일)을 생성하여, 빠른 데모에 유용합니다.

설치 및 시작하기

클론 및 CLI 설치 – 리포지토리에 제공된 스크립트(install.sh)를 사용하여 harbor 바이너리를 $PATH에 추가합니다.
Docker – Harbor는 Docker Compose에 의존하므로, Docker Desktop(또는 Docker 엔진)이 실행 중인지 확인하세요.
첫 번째 실행 – harbor up 명령어로 기본 스택(Open WebUI + 가벼운 백엔드)을 다운로드하고 시작합니다.
서비스 추가하기 – 예: harbor up ollama, harbor up searxng speaches, harbor up comfyui.
옵션 UI – 보조 앱인 "Harbor App"은 스택의 그래픽적 시각화와 일반 명령어에 대한 단축키를 제공합니다.

문서 및 커뮤니티

위키 – 설치, 각 서비스, Boost 모듈, CLI 참조에 대한 상세 페이지.
Discord – 문제 해결 및 기능 요청을 위한 활성 채팅(discord.gg/8nDRphrhSF).
릴리스 노트 – 새로운 백엔드, Boost 모듈, 안정성 개선을 포함한 빈번한 업데이트(v0.5.x).
Ko-fi – README에 있는 배지로 유지보수자들을 지원하세요.

TL;DR

Harbor는 한 명령어로 실행되는 완전한 로컬 AI 생태계 조율기입니다. Docker-Compose 설정을 숨기고, 수십 개의 UI 및 보조 서비스와 모델 서버를 자동으로 연결하며, 가벼운 에이전트 기반 워크플로우 레이어(Boost)를 추가합니다. 네트워킹이나 환경 파일을 다루지 않고도 자신의 컴퓨터에서 LLM, RAG, 음성, 이미지 생성을 실행하고 싶다면, Harbor는 즉시 사용 가능한 확장 가능한 스택을 제공합니다.