epam/ai-dial-core

解決する課題

DIAL Coreは、さまざまなチャット補完および埋め込みモデルとの対話を簡素化する統一HTTPプロキシとして機能します。単一の標準化されたAPIインターフェースを提供することで、アプリケーションが複数の異なるAIモデルAPIを個別に統合する必要性を排除します。

仕組み

Java 21とEclipse Vert.xで構築されたこのシステムは、ゲートウェイとして機能します。OpenAPI仕様で定義された一連のRESTエンドポイントを公開し、リクエストをさまざまなAIモデルやアプリケーションにルーティングします。認証およびアクセス制御のためのIDプロバイダーのサポートが組み込まれており、ツールセット実行のためのMCPサーバーとも統合されています。

対象ユーザー

エンタープライズ環境内で複数のAIモデルや埋め込みサービスへのリクエストを管理・プロキシする必要があり、集中管理された認証や分析を必要とする開発者およびプラットフォームエンジニア。

ハイライト

• 統一API: さまざまなチャットおよび埋め込みモデルに対して単一のエントリポイントを提供します。
• エンタープライズ対応認証: 設定可能なロールベースのアクセス制御を備えた複数のIDプロバイダーをサポートします。
• 可観測性: 設定可能なクレーム収集やヘッダーフィルタリングを含む、リクエストの詳細な分析ログを提供します。
• 高性能: ブロッキングタスクにはJava 21の仮想スレッドを、リアクティブな処理にはVert.xフレームワークを活用しています。
• Kubernetesネイティブ: Kubernetesクラスターへのデプロイを効率化するためのHelmチャートを提供します。