av/harbor

Stop configuring your AI stack. Start using it. One command brings a complete pre-wired LLM stack with hundreds of services to explore.

해결하는 문제

로컬 AI 환경을 설정하는 것은 복잡하며, 여러 백엔드, 프론트엔드 및 지원 서비스에 대한 수동 구성이 필요합니다. Harbor는 이러한 오케스트레이션을 자동화하여 즉시 함께 작동하는 도구의 사전 구성된 생태계를 제공합니다.

작동 방식

Harbor는 CLI와 컴패니언 애플리케이션을 사용하여 Docker Compose 오케스트레이션을 관리합니다. 사용자는 harbor up과 같은 명령어를 사용하여 특정 서비스(Ollama 또는 vLLM 등)나 전체 스택을 실행할 수 있습니다. 구성, 서비스 간 연결을 처리하며, macOS의 경우 컨테이너 오버헤드를 피하기 위해 호스트 네이티브 추론(MLX/oMLX를 통해)을 제공합니다. 또한 에이전트 워크플로우를 체인화하는 "Boost" 모듈과 로컬 서비스를 인터넷에 안전하게 노출하기 위한 터널링 서비스도 포함되어 있습니다.

대상 사용자

수동 설정 없이 로컬 LLM 및 코딩 에이전트(Codex 또는 Aider 등)를 실행하려는 개발자.
웹 검색(SearXNG), 이미지 생성(ComfyUI), 음성 채팅(Speaches)을 포함한 완전하고 프라이빗한 AI 스택을 찾는 사용자.
복잡한 에이전트 워크플로우 및 다단계 리서치 작업을 오케스트레이션해야 하는 엔지니어.

주요 특징

원커맨드 설정: 간단한 CLI 명령으로 백엔드, 프론트엔드 및 위성을 실행합니다.
광범위한 서비스 카탈로그: vLLM, llama.cpp, Ollama와 같은 주요 엔진과 Open WebUI, LibreChat 같은 UI를 지원합니다.
에이전트 워크플로우: 자동 웹 리서치, 감사 및 범위 확인을 위한 "Boost" 모듈이 포함되어 있습니다.
유연한 연결성: 호스트 측 코딩 도구를 위한 OpenAI 호환 백엔드와 MCP 에코시스템 지원을 제공합니다.