Azure-Samples/AI-Gateway

何を解決するか

本番環境向けのAIアプリケーションは、単なるAPI呼び出し以上のものが必要です。セキュリティ、信頼性、監視、コストの管理を中央集権的に制御しつつ、開発スピードを妨げない仕組みが必要です。このプロジェクトは、AIアプリケーションと下位のモデル、ツール、エージェント間のやり取りを仲介するエンタープライズグレードのAIゲートウェイを実装するためのフレームワークを提供します。

動作方法

Azure API Management (APIM) で駆動されるゲートウェイは、AIサービス全体にポリシーを適用するコントロールプレーンとして機能します。Jupyterノートブック、Bicepインフラストラクチャテンプレート、APIMポリシーを使用して、以下の機能をデプロイします：

• モデル管理：バックエンドプール間のロードバランシング、トークンレート制限、ベクトル類似度を用いた意味的キャッシュの実装。
• ツール統合：Model Context Protocol (MCP) を通じた安全なツールアクセスと、Azure Functionsを用いた関数呼び出し。
• エージェントオーケストレーション：OpenAI Agents SDK や Gemini MCP Agents などのフレームワークを活用したエージェントアプリケーションの管理。
• ガバナンス：予算制御のためのFinOpsフレームワークと、セキュリティのためのコンテンツ安全フィルタリングの適用。

対象ユーザー

大規模なAIアプリケーションを開発するエンタープライズ開発者およびアーキテクト。複数のAIモデルやツールを中央集権的に管理しながら、コンプライアンス、可視性、コスト制御を維持したい方々に最適です。

主な特徴

• 包括的なラボライブラリ：モデルルーティング、意味的キャッシュ、MCPプロトコルサポートをカバーする30以上の実践型ラボ。
• MCPサポート：プラグアンドプレイでツール管理が可能なModel Context Protocolとの統合。
• エンタープライズガバナンス：OAuth 2.0、マネージドID、トークンベースのメトリクスを内蔵したサポート。
• AI支援開発：Copilot Agent Skillsを含み、新しいラボのスケルトン作成やBicepまたはTerraform構成の生成を支援します。