thushan/olla

해결하는 문제

Olla는 자체 호스팅된 LLM 인프라를 관리하기 위해 설계된 고성능 프록시 및 로드 밸런서입니다. 여러 추론 노드 간에 요청을 신뢰성 있게 라우팅하는 문제를 해결하며, 다양한 백엔드에 대한 통합 인터페이스를 제공하고, 장애 대체 및 건강 모니터링을 통해 고가용성을 보장합니다.

작동 방식

Olla는 클라이언트와 다양한 LLM 백엔드(vLLM, Ollama, llama.cpp 등) 사이의 중개자 역할을 합니다. 단순성을 중시하는 Sherpa와 고성능을 추구하는 Olla라는 두 가지 프록시 엔진을 사용하여 우선순위와 건강 상태에 따라 요청을 라우팅합니다. KV 캐시를 인지하는 애피니티 라우팅(스티키 세션)을 통해 다중 턴 대화를 동일한 백엔드에 고정하여 성능을 최적화할 수 있으며, Anthropic 및 OpenAI API 형식 간 자동 변환 기능을 통해 다양한 제공업체 간 호환성을 보장합니다.

대상 사용자

가정용 실험실부터 기업 데이터센터까지 다양한 규모의 자체 호스팅 LLM 배포를 관리하는 개발자 및 운영자에게 적합합니다. 여러 추론 엔드포인트를 신뢰성 있게 로드 밸런싱하고 통합할 필요가 있는 사용자에게 이상적입니다.

주요 특징

• 스마트 로드 밸런싱: 우선순위 기반 라우팅, 자동 장애 대체 및 연결 재시도 기능.
• KV 캐시 애피니티: 특정 백엔드에 대화를 고정하는 스티키 세션으로 성능 최적화.
• 광범위한 백엔드 지원: vLLM, Ollama, llama.cpp, LM Studio 등과의 네이티브 통합.
• API 변환: Anthropic Messages API와 OpenAI 호환 형식 간 자동 변환.
• 경량 프로필: Go로 작성되어 50MB 미만의 RAM만 사용.
• 통합 대시보드: 건강 상태와 지연 시간을 모니터링할 수 있는 내장된 읽기 전용 팀 개요.