theagentrouter/agent-router

해결하는 문제

Agent Router는 AI 및 에이전트 트래픽을 관리하기 위한 중앙 집중식 컨트롤 플레인을 제공합니다. 애플리케이션 팀이 다양한 모델과 도구에 대해 여러 다른 API를 관리할 필요가 없으며, 플랫폼 팀은 호스팅된 프로바이더와 자체 호스팅된 추론 서버 전체에 걸쳐 보안, 할당량, 라우팅 정책을 중앙에서 강제할 수 있습니다.

작동 방식

Envoy와 Envoy Gateway로 구동되며, 이중 게이트웨이 패턴을 구현합니다:

• 1단계 게이트웨이: 인증, 글로벌 레이트 제한, 상위 수준 라우팅을 처리하는 주요 진입점으로 작동합니다.
• 2단계 게이트웨이: 자체 호스팅 모델 클러스터로의 인그레스 트래픽을 관리하며, 세밀한 제어 및 엔드포인트 선택기 지원을 통해 LLM 추론을 최적화합니다.

다양한 AI 프로바이더(OpenAI, Azure OpenAI, Google Gemini, Anthropic 등) 및 MCP 서버 간의 차이를 추상화하는 단일 OpenAI 호환 API를 제공합니다.

대상 사용자

• 애플리케이션 팀: 각 프로바이더마다 코드를 변경하지 않고도 여러 AI 모델과 도구와 일관된 API로 상호작용하고자 하는 팀.
• 플랫폼 팀: AI 트래픽에 대한 자격 증명, 장애 대응, 사용량 추적, 할당량을 중앙에서 관리하고자 하는 팀.

주요 특징

• OpenAI 호환 API: 다양한 호스팅 및 자체 호스팅 AI 프로바이더에 대한 통합 인터페이스 제공.
• Envoy 기반: Envoy Proxy의 강력한 트래픽 관리 기능을 활용.
• 이중 아키텍처: 글로벌 진입점 관련 사항과 특정 모델 클러스터 최적화를 분리.
• 광범위한 프로바이더 지원: OpenAI, Azure, Google, AWS Bedrock, Mistral, Cohere, DeepSeek 등 주요 프로바이더와 통합.