eliasbiondo/antirion

Antirion はオープンソースの AI ゲートウェイです。アプリケーションと AI モデルプロバイダー（OpenAI、Anthropic、Google など）の間に位置する単一のプログラムです。複数のプロバイダーと通信するための共通 API を提供し、スマートルーティング、コスト管理、安全チェック、監視などの機能を追加します。これらはすべて、管理用の組み込み Web コンソールを含む軽量な Rust バイナリに統合されています。

主な機能（README より）：

• 速度：サブミリ秒のオーバーヘッドと高スループットを主張し、Bifrost や LiteLLM とのベンチマークでより高速でリソース効率が高いことを示しています。
• プロバイダーサポート：OpenAI、Azure、Anthropic、Bedrock、Vertex、Gemini、Mistral、Cohere、Groq など、および OpenAI または Anthropic 互換のサーバーをサポートします。異なる API 方言間の変換も行います（例：OpenAI クライアントが Claude モデルを呼び出す）。
• ルーティングと耐障害性：フォールバックチェーン、加重分割、最小コスト/遅延/ビジー戦略、リトライ、サーキットブレーカーなど。
• コスト管理：レート制限、ドルまたはトークンの予算、モデルごとの価格設定、支出台帳、アラート。
• 安全性：PII、シークレット、キーワード、JSON スキーマ、モデレーション、プロンプトインジェクション検出のためのガードレール。ブロックや編集などのアクションをサポート。
• 可観測性：詳細なリクエストログ、分析、キャッシュ（完全一致およびセマンティック）。

はじめ方は簡単です：Docker コンテナを実行し、コンソールを開き、管理者トークンを貼り付け、プロバイダー（例：OpenAI）を API キーで追加し、モデルを追加し、API キーを作成し、最初のリクエストを送信します。基本的な使用には設定ファイルは不要です。

デプロイオプション：Docker（distroless イメージ）、Docker Compose（スタンドアロンまたはクラスター）、Kubernetes（Helm チャート）、Linux 用のプリビルドバイナリ、またはソースからのビルド。組み込みストアを持つ単一ノードとして、または PostgreSQL と Valkey を使用したクラスターとして実行できます。

このプロジェクトは Apache-2.0 ライセンスで、Rust で書かれています。README には詳細なパフォーマンスベンチマークと再現手順が含まれています。