mozilla-ai/otari

What it solves

Otari は、OpenAI 互換性のある LLM ゲートウェイであり、ユーザーが単一のエンドポイント経由で複数のモデルプロバイダーを管理できるようにします。断片化されたプロバイダーの認証情報管理、異なるサービス間での使用量と予算のトラッキング、およびアプリケーションのコードを変更せずにフェイルオーバーや重み付けによるルーティングポリシーを実装することを解決します。

How it works

Otari は、アプリケーションと LLM プロバイダーの間のプロキシとして機能します。It acts as a proxy between applications and LLM providers. It authenticates requests, resolves theizes the necessary provider credentials, checks budgets before dispatching the request, and records usage after the completion. It uses the any-llm library to handle the actual provider calls.

Who it’s for

複数の LLM プロバイダーを使用し、認証、コスト管理、およびルーティングポリシーを中央集権的に管理する方法が必要な開発者や組織向けに設計されています。

Highlights

• Unified Endpoint: 40 社以上のプロバイダーに対して、OpenAI と Anthropic 互換の単一のエンドポイントを提供します。
• Credential Management: プロバイダーの認証情報をゲートウェイの後ろに安全に保持します。
• Capped Spending: 決済後に予算を強制し、使用量記録をトラッキングします。
• Flexible Routing: フェイルオーバー、重み付け、および学習型選択のためのローカルルーティングポリシーをサポートします。
• Access Control: ユーザー、ワークスペース、モデルごとにスコープ付きの、取り消し可能な API キーを提供します。
• Extended Capabilities: コード実行、ウェブ検索、MCP, guardrails, およびファイル理解のオプションサポートを提供します。