epam/ai-dial-core

它解決了什麼問題

DIAL Core 作為一個統一的 HTTP 代理，簡化了與各種聊天完成和嵌入模型的互動。它透過提供單一、標準化的 API 介面，消除了應用程式需要個別整合多個不同 AI 模型 API 的需求。

運作方式

該系統使用 Java 21 和 Eclipse Vert.x 建構，作為閘道運作。它公開了一組 REST 端點（透過 OpenAPI 規範定義），將請求路由至不同的 AI 模型和應用程式。它內建了用於身份驗證和存取控制的身份提供者支援，並整合了用於工具集執行的 MCP 伺服器。

適用對象

需要在企業環境中管理並代理對多個 AI 模型和嵌入服務的請求，且需要集中式身份驗證和分析的開發人員與平台工程師。

特色亮點

• 統一 API：為不同的聊天和嵌入模型提供單一入口點。
• 企業級驗證：支援多個身份提供者，並具備可配置的基於角色的存取控制。
• 可觀測性：包含詳細的請求分析日誌，包括可配置的宣告收集和標頭過濾。
• 高效能：利用 Java 21 虛擬執行緒處理阻塞任務，以及反應式 Vert.x 框架。
• Kubernetes 原生：提供 Helm charts 以簡化在 Kubernetes 叢集上的部署。