epam/ai-dial-core

它解决了什么问题

DIAL Core 作为一个统一的 HTTP 代理，简化了与各种聊天完成和嵌入模型的交互。它通过提供单一、标准化的 API 接口，消除了应用程序需要单独集成多个不同 AI 模型 API 的需求。

运作方式

该系统使用 Java 21 和 Eclipse Vert.x 构建，作为网关运行。它公开了一组 REST 端点（通过 OpenAPI 规范定义），将请求路由至不同的 AI 模型和应用程序。它内置了用于身份验证和访问控制的身份提供者支持，并集成了用于工具集执行的 MCP 服务器。

适用对象

需要在企业环境中管理并代理对多个 AI 模型和嵌入服务的请求，且需要集中式身份验证和分析的开发人员与平台工程师。

特色亮点

• 统一 API：为不同的聊天和嵌入模型提供单一入口点。
• 企业级验证：支持多个身份提供者，并具备可配置的基于角色的访问控制。
• 可观测性：包含详细的请求分析日志，包括可配置的声明收集和标头过滤。
• 高性能：利用 Java 21 虚拟线程处理阻塞任务，以及响应式 Vert.x 框架。
• Kubernetes 原生：提供 Helm charts 以简化在 Kubernetes 集群上的部署。