harbor: 완전한 로컬 LLM 스택을 배포하고 관리하기 위한 통합 오케스트레이터

해결하는 문제

Harbor는 로컬 AI 스택을 설정하고 관리하는 복잡한 과정을 단순화합니다. 백엔드, 프론트엔드 및 지원 서비스 간의 여러 Docker 컨테이너, 환경 변수 및 네트워크 연결을 수동으로 구성하는 대신, Harbor는 이러한 구성 요소들을 손쉽게 배포하고 오케스트레이션할 수 있는 통합 CLI 및 컴패니언 앱을 제공합니다.

작동 방식

Harbor는 Docker Compose 상위에서 오케스트레이션 레이어로 작동합니다. 사용자는 harbor up [service]와 같은 간단한 명령어를 사용하여 사전 구성된 서비스(Ollama, vLLM 또는 Open WebUI와 같은)를 실행할 수 있습니다. Harbor는 서비스 간의 연결 및 구성을 자동으로 처리하여 프론트엔드가 각각의 백엔드에 미리 연결되도록 보장합니다. 또한 로컬 백엔드를 호스트 기반 코딩 도구 및 에이전트와 통합하기 위한 harbor launch 명령어를 포함합니다.

대상 사용자

수동 인프라 설정의 부담 없이 RAG, 음성 채팅 및 이미지 생성을 포함한 완전하고 통합된 로컬 LLM 환경을 실행하고자 하는 개발자, AI 연구원 및 애호가들을 위해 설계되었습니다.

주요 특징

• 원-커맨드 배포: harbor up 명령어로 백엔드(Ollama, llama.cpp, vLLM), 프론트엔드(Open WebUI), 그리고 새틀라이트(SearXNG, Speaches)를 빠르게 실행합니다.
• 에이전트 기반 코딩 통합: harbor launch 명령어는 로컬 모델을 Claude Code, Codex, VS Code와 같은 호스트 도구에 연결합니다.
• Harbor Boost: 코딩 에이전트를 위한 맞춤형 워크플로우로 에이전트 모듈(웹 리서치, 감사, 범위 확인)을 체이닝하는 시스템입니다.
• 광범위한 백엔드 지원: MLX 및 oMLX를 통한 macOS용 호스트 네이티브 Metal/GPU 가속을 포함하여 다양한 추론 엔진을 지원합니다.
• 로컬 웹 RAG: SearXNG와 같은 검색 엔진을 다양한 UI 및 심층 리서치 도구에 미리 연결합니다.
• 인프라 도구: 원격 액세스를 위한 내장 터널링, 모바일 액세스를 위한 QR 코드, 그리고 설정을 독립적인 Docker Compose 파일로 내보내는 "eject" 기능을 포함합니다.