mozilla-ai/otari
Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking.
해결하는 문제
Otari는 사용자가 단일 엔드포인트를 통해 여러 모델 제공자를 관리할 수 있도록 해주는 OpenAI 호환 LLM 게이트웨이입니다. 다양한 서비스 간에 분산된 제공자 자격 증명을 관리하는 문제, 사용량과 예산을 추적하는 문제, 애플리케이션 코드를 수정하지 않고도 장애 대체 및 가중치 기반 라우팅 정책을 구현하는 문제를 해결합니다.
작동 방식
Otari는 애플리케이션과 LLM 제공자 사이의 프록시 역할을 합니다. 요청을 인증하고 필요한 제공자 자격 증명을 확인하며, 요청을 전달하기 전에 예산을 확인하고 요청 완료 후 사용량을 기록합니다. 실제 제공자 호출은 any-llm 라이브러리를 사용하여 처리합니다.
대상 사용자
여러 LLM 제공자를 사용하고 있으며 인증, 비용 제어, 라우팅 정책을 중앙에서 처리할 수 있는 방법이 필요한 개발자 및 조직을 대상으로 합니다.
주요 기능
- 통합 엔드포인트: 40개 이상의 제공자에 대해 OpenAI 및 Anthropic 호환 단일 엔드포인트 제공.
- 자격 증명 관리: 게이트웨이 뒤에서 제공자 자격 증명을 안전하게 보관.
- 비용 제한: 예산을 강제 적용하고 정산 후 사용량 기록을 추적.
- 유연한 라우팅: 장애 대체, 가중치, 학습된 선택을 위한 로컬 라우팅 정책 지원.
- 접근 제어: 사용자, 워크스페이스, 모델 단위의 범위를 가진 취소 가능한 API 키 제공.
- 확장 기능: 코드 실행, 웹 검색, MCP, 가드레일, 파일 이해 등 옵션 지원.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트