epam/ai-dial-core

해결하는 문제

DIAL Core는 다양한 채팅 완성 및 임베딩 모델과의 상호작용을 간소화하는 통합 HTTP 프록시 역할을 합니다. 단일화된 표준 API 인터페이스를 제공함으로써 애플리케이션이 여러 AI 모델 API를 개별적으로 통합해야 하는 번거로움을 제거합니다.

작동 방식

Java 21과 Eclipse Vert.x로 구축된 이 시스템은 게이트웨이로 작동합니다. OpenAPI 사양으로 정의된 REST 엔드포인트 세트를 노출하여 요청을 다양한 AI 모델 및 애플리케이션으로 라우팅합니다. 인증 및 액세스 제어를 위한 ID 공급자 지원이 내장되어 있으며, 툴셋 실행을 위한 MCP 서버와 통합됩니다.

대상 사용자

엔터프라이즈 환경 내에서 여러 AI 모델 및 임베딩 서비스에 대한 요청을 관리하고 프록시해야 하며, 중앙 집중식 인증 및 분석이 필요한 개발자 및 플랫폼 엔지니어.

주요 특징

• 통합 API: 다양한 채팅 및 임베딩 모델을 위한 단일 진입점을 제공합니다.
• 엔터프라이즈급 인증: 구성 가능한 역할 기반 액세스 제어(RBAC)를 갖춘 다중 ID 공급자를 지원합니다.
• 관측 가능성: 구성 가능한 클레임 수집 및 헤더 필터링을 포함한 상세한 요청 분석 로그를 제공합니다.
• 고성능: 차단 작업에는 Java 21 가상 스레드를, 반응형 처리에는 Vert.x 프레임워크를 활용합니다.
• Kubernetes 네이티브: Kubernetes 클러스터에 간편하게 배포할 수 있는 Helm 차트를 제공합니다.