Portkey-AI/gateway

What it solves

Portkey AI Gateway は軽量かつオープンソースのルーティングレイヤーで、開発者は 45 社以上のプロバイダーが提供する 1,600 以上の言語、ビジョン、オーディオ、画像モデルを単一の統一 API で統合できます。各 AI プロバイダーごとにカスタム統合コードを書く必要がなくなり、自動リトライやフォールバックといった信頼性機能によりアプリケーションのダウンタイムを防止します。

How it works

ゲートウェイはアプリケーションと各 AI プロバイダーの間のプロキシとして機能します。OpenAI 互換のシグネチャでゲートウェイにリクエストを送信すると、定義された設定に基づき指定されたプロバイダーへルーティングされます。これらの設定により、アプリケーションコードを変更せずにルーティングルール、信頼性設定、ガードレールを構成できます。

Who it’s for

高可用性を維持し、複数の LLM プロバイダーを管理し、AI デプロイメント全体のセキュリティとコンプライアンスを確保したい開発者や企業向けに設計されています。

Highlights

• Reliable Routing: 指数バックオフ付き自動リトライ、失敗時の代替モデルへのフォールバック、複数 API キーやプロバイダー間のロードバランシングを含む。
• Security & Accuracy: 入出力の検証、セキュアなキー管理、ロールベースのアクセス制御を備えた組み込みガードレールを提供。
• Cost Management: シンプルキャッシュとセマンティックキャッシュ、使用状況分析によりコストとレイテンシを監視。
• Multi-modal Support: ビジョン、オーディオ（TTS/STT）、画像生成モデルをサポート。
• Agent Framework Integration: Autogen、CrewAI、LangChain、LlamaIndex などのフレームワークとシームレスに統合。
• MCP Gateway: Model Context Protocol（MCP）サーバーの認証と可観測性を備えた集中管理プレーンを提供。