mostlygeek/llama-swap

해결하는 문제

여러 생성형 AI 모델을 로컬에서 실행하려면 종종 서로 다른 추론 서버를 수동으로 시작하고 중지해야 하는데, 이는 번거롭고 리소스를 많이 소모합니다. 이 프로젝트는 이러한 서버 관리를 자동화하여 다양한 모델(LLM, 이미지 생성기, 오디오 프로세서)을 필요에 따라 실행하고 수동 개입 없이 핫스왑할 수 있도록 합니다.

작동 방식

이 도구는 로컬 추론 서버(llama.cpp, vllm, ComfyUI 등) 앞에 위치하는 Go 기반의 경량 리버스 프록시 역할을 합니다. 특정 모델에 API 요청을 보내면, 도구가 요청된 모델 ID를 감지하고 해당 서버가 아직 실행 중이 아니면 자동으로 로드하여 요청을 라우팅합니다. OpenAI 및 Anthropic API 호환 엔드포인트를 지원하므로 기존 AI 도구 및 워크플로우와 원활하게 통합됩니다.

대상 사용자

자신의 하드웨어에서 여러 로컬 AI 모델을 실행하며, 프로세스를 수동으로 관리할 필요 없이 추론 스택을 관리할 수 있는 통합된 자동화 인터페이스를 원하는 개발자와 파워 유저를 위해 설계되었습니다.

주요 특징

• 자동 모델 전환: 들어오는 API 요청에 따라 모델을 동적으로 로드하고 언로드합니다.
• 폭넓은 호환성: OpenAI 및 Anthropic API 엔드포인트를 지원하며, llama.cpp, Stable Diffusion 및 오디오 처리 서버에 대한 특화된 지원을 제공합니다.
• 리소스 관리: TTL 기반 자동 언로드, 동시 모델 매트릭스, 사용자 지정 요청 필터링과 같은 기능을 포함합니다.
• 내장 모니터링: 테스트, 실시간 로그 스트리밍 및 상세 토큰/시스템 메트릭을 위한 웹 UI를 제공합니다.
• 간편한 배포: 최소한의 설정으로 단일 바이너리로 배포되며, 다양한 GPU 백엔드를 위한 통합 Docker 이미지로도 제공됩니다.