mozilla-ai/otari
Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking.
해결하는 문제
Otari는 여러 LLM 제공업체를 관리하고 비용을 제어하는 복잡성을 해결합니다. 다양한 API를 애플리케이션에 직접 통합하는 대신, 인증을 처리하고 요청을 다양한 제공업체로 라우팅하며 비용이 발생하기 전에 예산을 적용하는 단일 엔드포인트를 사용합니다.
작동 방식
Otari는 애플리케이션과 LLM 제공업체(OpenAI 또는 Anthropic 등) 사이에서 프록시 서버 역할을 합니다. OpenAI 호환 인터페이스를 제공하므로 기존 클라이언트 코드가 제공업체 대신 Otari를 가리키도록 설정할 수 있습니다. 라우팅 엔진을 사용하여 40개 이상의 제공업체에 연결하고, 사용자를 위한 가상 API 키를 관리하며, 사용량 및 지출을 실시간으로 추적합니다.
대상 사용자
AI 스택을 중앙 집중화하고, 클라이언트 애플리케이션에 노출하지 않고 API 자격 증명을 안전하게 관리하며, 여러 LLM 모델에 대해 엄격한 비용 제어 및 사용량 모니터링을 구현해야 하는 개발자 및 조직을 위해 설계되었습니다.
주요 특징
- 통합 인터페이스: 40개 이상의 제공업체에 대해 OpenAI 및 Anthropic API 형식을 지원하는 단일 엔드포인트.
- 비용 제어: 요청이 처리되기 전에 사용자 및 키별 예산을 적용.
- 안전한 자격 증명 관리: 제공업체 키를 제어된 환경에 보관하고 클라이언트에게 범위가 지정된 가상 키를 발급.
- 관측 가능성: 내장된 사용량 추적 및 지출과 모델을 모니터링하기 위한 관리자 대시보드 제공.
- 확장 가능한 기능: 샌드박스 Python 코드 실행 및 웹 검색과 같은 내장 도구와 요청 수준의 가드레일 지원.