TokenFlux/TokenRouter

解決する課題

TokenRouterは、複数の大規模言語モデル（LLM）プロバイダーを管理する複雑さを解決します。異なるベンダーごとに個別のAPIを統合する代わりに、単一のAPIキーでさまざまなモデルにアクセスできる統合ゲートウェイを提供します。

仕組み

ユーザーと複数の上流AIプラットフォームの間のプロキシ層として機能します。異なるプロトコル（Anthropic Messages、OpenAI Chat Completions、Geminiなど）間の変換を行い、モデルの可用性、レート制限、セッションスティッキネスに基づいてリクエストを適切なプロバイダーにルーティングします。上流プロバイダーが失敗した場合、システムは自動的に別の利用可能なプロバイダーに切り替えます。

対象ユーザー

さまざまなベンダーの多様なAIモデルを使用し、アクセス管理、使用状況の監視、コスト管理を一元化する必要がある開発者や組織向けに設計されています。

ハイライト

• マルチプロバイダー統合：APIキー、OAuth、AWS Bedrock、Vertex AIを介してOpenAI、Anthropic、Gemini、Grok、DeepSeekなどをサポート。
• プロトコル変換：ベンダー固有のプロトコル間でリクエストを自動変換。
• アクセスとクォータ管理：ユーザー/チームのクォータ、同時実行数、RPM（1分あたりのリクエスト数）を制御。
• 課金と支払い：使用量ベースの課金、サブスクリプション、Stripe、Alipay、WeChat Payなどの複数の支払いゲートウェイを組み込みサポート。
• コンテンツモデレーション：キーワードまたはハッシュルールに基づいてリクエストをインターセプトし、違反ユーザーを自動的に禁止できます。
• 包括的なAPIサポート：テキストに加えて、埋め込み、画像生成/編集、ビデオ、音声（TTS/STT）、Web検索のエンドポイントを提供。