mozilla-ai/otari

Otari – セルフホスト型のOpenAI互換LLMゲートウェイ

概要 – Otariは、アプリケーションと任意のLLMプロバイダー（OpenAI、Anthropic、Azureなど）の間で動作する、軽量でオープンソースのサーバーです。認証、認証情報の保存、予算の執行、ルーティングポリシー、使用状況の追跡、オプションのガードレールサービスを処理しながら、単一のOpenAI互換APIエンドポイントを提供します。

主な機能

• マルチプロバイダールーティング – 1つの/v1/chat/completionsエンドポイントで、40以上のバックエンドにリクエストを転送できます。プロバイダーはYAMLファイルで設定し、Otariはリクエスト時に適切なAPIキーを解決します。
• アクセス制御 – ユーザー、ワークスペース、モデルごとにスコープされた取り消し可能なAPIキー。キーは暗号化されて保存され、Webダッシュボードから管理できます。
• 予算と支出制限 – ユーザーまたはワークスペースごとの予算を定義可能。Otariはディスパッチ前に予算を確認し、呼び出し後に実際の支出を記録します。
• ルーティングポリシー – シンプルなフェイルオーバー、重み付けロードバランシング、または学習された選択ポリシーを使用して、リクエストに最適なプロバイダーを選択できます。
• 組み込みツール – オプションのサンドボックス化されたコード実行、Web検索、マルチコールプラン（MCP）、推論ガードレール、ファイル理解サービスをリクエストに添付できます。
• デプロイメント – SQLite（一時的）を使用したシングルプロセスのDockerコンテナとして実行するか、PostgreSQL、複数のオプションサービス、マルチテナントコントロールプレーン（otari.ai）を備えたフルスタックとして実行できます。
• 開発者フレンドリー – Swagger UI、OpenAPI仕様、Python SDK（any-llm）による簡単な統合。既存のOpenAIクライアントライブラリは、base_urlをOtariにポイントするだけで動作します。

典型的なユースケース

• プロバイダーのAPIキーをファイアウォールの背後に保持しつつ、内部サービスに統一されたエンドポイントを公開したい企業。
• LLM使用量に対してプロジェクトごとの予算と監査ログを必要とするチーム。
• 各モデルのクライアントコードを変更せずに、自動ガードレールとツール統合を求めるエージェント（例：Claude Code）を開発する開発者。
• アプリケーションコードを書き直さずにさまざまなLLMプロバイダーを試したい人。

クイックスタート

# Dockerで使い捨てのゲートウェイ（SQLite）を実行
docker run --rm -p 8000:8000 \
  -e OTARI_MASTER_KEY=SET_A_MASTER_KEY \
  -e OPENAI_API_KEY=$YOUR_OPENAI_KEY \
  -e OTARI_CONFIG_YAML='default_pricing: true
providers:
  openai:
    api_key: ${OPENAI_API_KEY}' \
  mzdotai/otari:latest otari serve

コンテナは初回起動時にブートストラップAPIキーを出力します。通常のOpenAIキーと同じように使用できます：

curl http://localhost:8000/api/v1/chat/completions \
  -H "Authorization: Bearer tk-..." \
  -H "Content-Type: application/json" \
  -d '{"model":"openai:gpt-4o-mini","messages":[{"role":"user","content":"Say hello."}]}'

永続的なデプロイメントの場合は、Dockerコマンドを提供されているdocker-composeセットアップ（PostgreSQL、オプションのコード実行、Web検索、ガードレール）に置き換え、ハイブリッドまたはホステッドモード用にOTARI_MODE/OTARI_AI_TOKENを設定してください。

ドキュメントとコミュニティ – 完全なドキュメント（クイックスタート、デプロイメント、設定、ルーティング、アクセス制御、ツール、エージェントガードレール）はdocs/にあります。公開ダッシュボードのデモはhttps://otari.ai、プロジェクトにはサポート用のDiscordコミュニティがあります。

ライセンス – Apache 2.0。

---

要約 – Otariを使用すると、多数のLLMプロバイダーを集約し、予算を執行し、認証情報を安全に保存し、オプションの安全ツールを追加する、独自のOpenAI互換ゲートウェイを実行できます。すべて単一のAPIエンドポイントを介して、セルフホストまたはMozillaのホステッドコントロールプレーンに接続できます。