theagentrouter/agent-router

Agent Router – 빠른 개요

정의 – Agent Router(이전 명칭: Envoy AI Gateway)는 LLM 및 도구 API 앞에 위치하는 오픈소스 컨트롤 플레인입니다. 단일 OpenAI 호환 HTTP 엔드포인트(/v1)를 제공하며, 호스팅 서비스(OpenAI, Azure, Anthropic 등) 또는 자체 호스팅 추론 클러스터와 같은 여러 백엔드로 요청을 라우팅하고 인증, 할당량, 장애 조치 및 사용량 귀속을 처리합니다.

중요성 – 대규모 조직에서는 동일한 애플리케이션이 각각 고유한 키, 속도 제한 및 가격을 가진 여러 LLM 제공업체를 호출해야 할 수 있습니다. Agent Router는 이러한 파이프라인을 중앙 집중화하여 개발자가 익숙한 OpenAI 클라이언트 라이브러리를 계속 사용하고 라우터가 어떤 모델을 호출할지 결정하고 정책을 적용하며 메트릭을 수집하도록 합니다.

핵심 구성 요소

• Envoy – 트래픽을 실제로 전달하는 고성능 프록시.
• Envoy Gateway – Kubernetes 네이티브 CRD 및 컨트롤 플레인 로직을 추가합니다.
• CLI(aigw) – 로컬에서 라우터를 실행(aigw run)하거나 Helm을 통해 클러스터에 설치할 수 있습니다.
• CRD – AIGatewayRoute, AIServiceBackend, BackendSecurityPolicy(모두 aigateway.envoyproxy.io 아래).

사용 방법

1. CLI 또는 Helm 차트를 설치합니다.
2. CRD를 사용하여 각 제공업체에 대한 백엔드(API 키, 엔드포인트, 할당량)를 정의합니다.
3. 수신 모델 이름 또는 경로를 특정 백엔드에 매핑하는 라우팅 규칙을 생성합니다.
4. 애플리케이션을 http://localhost:1975/v1(로컬) 또는 클러스터 서비스 URL로 지정합니다. 라우터는 요청을 재작성하고 올바른 인증 헤더를 추가한 후 전달합니다.

지원 제공업체 – OpenAI, Azure OpenAI, Anthropic, Google Gemini, AWS Bedrock, Mistral, Cohere, Groq, Together AI, DeepInfra, DeepSeek, Hunyuan, SambaNova, Grok, Tetrate 자체 서비스, BitDeer, Eden AI, Lanseq, Tencent LLM Knowledge Engine, TypeSafe AI 등 다양한 상용 LLM 서비스가 내장되어 있습니다.

배포 옵션

• 독립 실행형 – 노트북에서 OPENAI_API_KEY=… aigw run을 실행하여 빠르게 테스트합니다.
• Kubernetes – 2계층 게이트웨이 패턴을 배포합니다: 인증/속도 제한을 위한 1계층 게이트웨이와 자체 호스팅 모델 서빙 클러스터와 통신하는 2계층 게이트웨이.

커뮤니티 및 거버넌스 – Linux Foundation Projects 산하 Agentic AI Foundation의 일부입니다. 기여는 LF 행동 강령을 따릅니다. Discord, 주간 커뮤니티 회의 및 공개 문서가 있습니다.

---

결론 – Agent Router는 Envoy의 성능과 Kubernetes 네이티브 관리를 기반으로 여러 LLM 제공업체에 대한 통합된 OpenAI 스타일 프런트 도어를 제공하는 실제 프로덕션 등급 오픈소스 프로젝트입니다.