Continuum-AI-Corp/OrcaRouter-Lite

해결하는 문제

OrcaRouter Lite는 OpenAI, Anthropic, Google 등 여러 AI 프로바이더를 단일한 OpenAI 호환 API를 통해 관리할 수 있는 자체 호스팅 LLM 라우터입니다. 사용자들은 별도의 라우팅 로직을 작성하거나 여러 애플리케이션에서 여러 API 키를 관리할 필요 없이, 특정 기술적 요구사항을 충족하는 가장 저렴한 모델을 자동으로 선택함으로써 비용을 절감할 수 있습니다.

작동 방식

이 시스템은 프록시 서버로 작동합니다. 사용자는 다양한 프로바이더에 대한 자체 API 키(BYOK)를 제공합니다. model="auto"로 요청을 보낼 경우, 라우터는 시각 기능이나 JSON 모드와 같은 요청의 요구사항을 분석하고, 100개 이상의 모델 중에서 작업을 처리할 수 있는 가장 저렴한 모델을 선택합니다. 또한 사용자가 키가 없는 모델을 위해 호스팅된 OrcaRouter를 백업으로 설정할 수도 있습니다.

대상 사용자

자신의 LLM 게이트웨이를 자체 호스팅하여 키와 분석 데이터를 통제하고 싶은 개발자 및 팀을 위한 것입니다. 동시에 Cursor, Aider, LangChain과 같은 도구를 위한 통합 API와 관리형 라우팅 계층의 편의성도 누릴 수 있습니다.

주요 기능

• 자동 비용 최적화: model="auto" 기능은 실시간 가격 데이터를 기반으로 가장 저렴한 대응 가능한 모델을 선택합니다.
• OpenAI 호환성: OpenAI 채팅 완성 프로토콜을 사용하는 모든 SDK나 도구와 즉시 대체 가능합니다.
• 크로스 프로바이더 프롬프트 캐싱: 다양한 AI 프로바이더 간에 결정론적 요청을 캐시함으로써 비용과 지연 시간을 줄입니다.
• 내장 분석 기능: 지출, 지연 시간, 고가 모델 대비 절감 가능성을 추적할 수 있는 로컬 대시보드를 포함합니다.
• 관리형 백업: 서비스 가용성을 보장하기 위해 호스팅된 API를 상류 프로바이더로 통합할 수 있습니다.