mozilla-ai/otari

Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking.

解決する課題

Otariは、複数のLLMプロバイダーの管理とコスト管理の複雑さを解決します。アプリケーションに様々なAPIを直接統合する代わりに、認証を処理し、リクエストを異なるプロバイダーにルーティングし、支出が発生する前に予算を適用する単一のエンドポイントを使用します。

仕組み

Otariは、アプリケーションとLLMプロバイダー（OpenAIやAnthropicなど）の間のプロキシサーバーとして機能します。OpenAI互換のインターフェースを提供するため、既存のクライアントコードの接続先をプロバイダーからOtariに変更するだけで済みます。ルーティングエンジンを使用して40以上のプロバイダーに接続し、ユーザー向けの仮想APIキーを管理し、使用状況と支出をリアルタイムで追跡します。

対象ユーザー

AIスタックを一元化し、API認証情報をクライアントアプリケーションに公開することなく安全に管理し、複数のLLMモデルにわたって厳格なコスト管理と使用状況のモニタリングを実装する必要がある開発者や組織向けに設計されています。

ハイライト

  • 統合インターフェース: 40以上のプロバイダーにわたってOpenAIおよびAnthropic API形式をサポートする単一のエンドポイント。
  • コスト管理: リクエストが処理される前に、ユーザーごとおよびキーごとの予算を適用。
  • 安全な認証情報管理: プロバイダーのキーを管理された環境に保持し、クライアントにはスコープ付きの仮想キーを発行。
  • オブザーバビリティ: 使用状況の追跡機能と、支出およびモデルを監視するための管理ダッシュボードを内蔵。
  • 拡張機能: サンドボックス化されたPythonコードの実行やウェブ検索などの組み込みツール、およびリクエストレベルのガードレールをサポート。