mozilla-ai/otari

Otari – 자체 호스팅 OpenAI 호환 LLM 게이트웨이

정의 – Otari는 애플리케이션과 모든 LLM 공급자(OpenAI, Anthropic, Azure 등) 사이에 위치하는 가볍고 오픈 소스 서버입니다. 단일 OpenAI 호환 API 엔드포인트를 제공하면서 인증, 자격 증명 저장, 예산 집행, 라우팅 정책, 사용량 추적, 선택적 가드레일 서비스를 처리합니다.

주요 기능

• 다중 공급자 라우팅 – 하나의 /v1/chat/completions 엔드포인트가 40개 이상의 백엔드로 요청을 전달할 수 있습니다. YAML 파일에서 공급자를 구성하면 Otari가 요청 시 올바른 API 키를 해석합니다.
• 액세스 제어 – 사용자, 작업 공간, 모델별로 범위가 지정된 해지 가능한 API 키. 키는 암호화되어 저장되며 웹 대시보드에서 관리할 수 있습니다.
• 예산 및 지출 한도 – 사용자별 또는 작업 공간별 예산을 정의하면 Otari가 전송 전에 확인하고 호출 후 실제 지출을 기록합니다.
• 라우팅 정책 – 간단한 장애 조치, 가중치 기반 로드 밸런싱 또는 학습된 선택 정책을 통해 요청에 가장 적합한 공급자를 선택합니다.
• 내장 도구 – 선택적 샌드박스 코드 실행, 웹 검색, 다중 호출 계획(MCP), 추론 가드레일, 요청에 첨부할 수 있는 파일 이해 서비스.
• 배포 – SQLite(임시)를 사용하는 단일 프로세스 Docker 컨테이너로 실행하거나 PostgreSQL, 여러 선택적 서비스, 다중 테넌트 제어 플레인(otari.ai)을 갖춘 전체 스택으로 실행할 수 있습니다.
• 개발자 친화성 – Swagger UI, OpenAPI 사양, 쉬운 통합을 위한 Python SDK(any-llm). 기존 OpenAI 클라이언트 라이브러리는 base_url을 Otari로 지정하기만 하면 작동합니다.

일반적인 사용 사례

• 공급자 API 키를 방화벽 뒤에 유지하면서 내부 서비스에 통합 엔드포인트를 노출하려는 기업.
• LLM 사용에 대한 프로젝트별 예산 및 감사 로그가 필요한 팀.
• 각 모델의 클라이언트 코드를 수정하지 않고 자동 가드레일과 도구 통합을 원하는 에이전트(예: Claude Code)를 개발하는 개발자.
• 애플리케이션 코드를 다시 작성하지 않고 다양한 LLM 공급자를 실험하고 싶은 모든 사람.

빠른 시작

# Docker로 임시 게이트웨이(SQLite) 실행
docker run --rm -p 8000:8000 \
  -e OTARI_MASTER_KEY=SET_A_MASTER_KEY \
  -e OPENAI_API_KEY=$YOUR_OPENAI_KEY \
  -e OTARI_CONFIG_YAML='default_pricing: true
providers:
  openai:
    api_key: ${OPENAI_API_KEY}' \
  mzdotai/otari:latest otari serve

컨테이너는 첫 시작 시 부트스트랩 API 키를 출력합니다. 다른 OpenAI 키처럼 사용하세요:

curl http://localhost:8000/api/v1/chat/completions \
  -H "Authorization: Bearer tk-..." \
  -H "Content-Type: application/json" \
  -d '{"model":"openai:gpt-4o-mini","messages":[{"role":"user","content":"Say hello."}]}'

영구 배포의 경우 Docker run을 제공된 docker-compose 설정(PostgreSQL, 선택적 코드 실행, 웹 검색, 가드레일)으로 대체하고 하이브리드 또는 호스팅 모드에 대해 OTARI_MODE/OTARI_AI_TOKEN을 구성하세요.

문서 및 커뮤니티 – 전체 문서(빠른 시작, 배포, 구성, 라우팅, 액세스 제어, 도구, 에이전트 가드레일)는 docs/ 아래에 있습니다. 공개 대시보드 데모는 https://otari.ai에 있으며, 프로젝트에는 지원을 위한 Discord 커뮤니티가 있습니다.

라이선스 – Apache 2.0.

---

요약 – Otari를 사용하면 여러 LLM 공급자를 집계하고, 예산을 적용하고, 자격 증명을 안전하게 저장하고, 선택적 안전 도구를 추가하는 자체 OpenAI 호환 게이트웨이를 실행할 수 있습니다. 이 모든 것이 단일 API 엔드포인트를 통해 제공되며, 자체 호스팅하거나 Mozilla의 호스팅 제어 플레인에 연결할 수 있습니다.