Continuum-AI-Corp/OrcaRouter-Lite

해결하는 문제

OrcaRouter Lite는 자체 호스팅 LLM 라우터로, 사용자가 단일 OpenAI 호환 API를 통해 여러 AI 제공업체(OpenAI, Anthropic, Google 등)를 관리할 수 있게 합니다. 통합 인터페이스와 주어진 작업에 가장 비용 효율적인 모델을 자동으로 선택하는 방법을 제공하여 애플리케이션에 복잡한 라우팅 로직이나 수동 비용 최적화 코드를 작성할 필요를 없앱니다.

작동 방식

이 시스템은 프록시 서버로 작동합니다. 사용자는 다양한 제공업체에 자신의 API 키(BYOK)를 제공하고, 서버는 요청을 적절한 모델로 라우팅합니다. 핵심 기능은 model="auto" 설정으로, 요청의 특정 요구 사항(예: 비전 기능 또는 JSON 모드)을 충족하는 가장 저렴한 사용 가능한 모델을 자동으로 선택합니다. 또한 Anthropic 및 Gemini의 네이티브 프로토콜 엔드포인트를 지원하므로, 해당 특정 SDK를 사용하는 클라이언트는 OpenAI 호환 래퍼 없이 직접 연결할 수 있습니다.

대상 사용자

라우터를 자체 호스팅하여 LLM 인프라에 대한 제어를 유지하면서도 다중 제공업체 지원, 자동 비용 최적화, 그리고 로컬 제공업체가 실패할 경우 호스팅 서비스로의 관리형 폴백의 이점을 누리려는 개발자와 팀을 위해 설계되었습니다.

주요 기능

• 자동 라우팅: model="auto" 기능은 요청 요구 사항에 따라 가장 저렴하고 적합한 모델을 선택합니다.
• 다중 프로토콜 지원: OpenAI, Anthropic, Gemini 와이어 형식을 네이티브로 수용합니다.
• 교차 제공업체 프롬프트 캐싱: 여러 제공업체 간에 결정적 요청을 캐싱하여 비용과 지연 시간을 줄입니다.
• 자체 호스팅 대시보드: 제공업체 키, 라우팅 전략 관리 및 지출 및 지연 시간에 대한 로컬 분석 보기를 위한 내장 대시보드가 포함되어 있습니다.
• 관리형 폴백: 사용자가 키를 관리하지 않는 제공업체를 위한 안전망으로 OrcaRouter의 호스팅 버전을 사용하도록 구성할 수 있습니다.