agentgateway/agentgateway

What it solves

Agentgateway는 AI 에이전트를 LLM, 도구 및 다른 에이전트에 연결하는 복잡성을 해결합니다. 보안, 가시성 및 거버넌스를 처리하는 중앙 집중형 프록시를 제공하여 개발자가 각 에이전트 워크플로마다 이러한 인프라 구성 요소를 직접 구축할 필요를 없앱니다.

How it works

MCP(Model Context Protocol)와 A2A와 같은 AI 네이티브 프로토콜을 기반으로 하는 오픈소스 프록시로 동작합니다. 트래픽은 여러 특화된 게이트웨이를 통해 라우팅됩니다:

• LLM Gateway: 여러 LLM 제공자를 하나의 OpenAI 호환 API로 통합하고 비용 제어와 로드 밸런싱을 제공합니다.
• MCP Gateway: stdio, HTTP, SSE 등 다양한 전송 방식과 OAuth를 사용해 LLM을 외부 데이터 및 도구에 연결합니다.
• A2A Gateway: 서로 다른 에이전트 간의 안전한 통신 및 작업 협업을 촉진합니다.
• Inference Routing: GPU 사용률 및 큐 깊이와 같은 실시간 메트릭을 기반으로 트래픽을 자체 호스팅 모델로 라우팅합니다.

Who it’s for

에이전트 AI 시스템을 구축하는 개발자와 조직을 위해 설계되었습니다. 연결 관리, 가드레일 적용 및 다양한 프레임워크와 환경 간 통신 모니터링을 프로덕션 수준으로 제공합니다.

Highlights

• Multi-layered Guardrails: 정규식, OpenAI moderation, AWS Bedrock, Google Model Armor를 통한 콘텐츠 필터링.
• Enterprise Security: JWT, API 키, OAuth 및 CEL 정책 엔진을 활용한 세분화된 RBAC 포함.
• Observability: 메트릭, 로그, 트레이싱을 위한 OpenTelemetry 통합.
• Deployment Flexibility: 독립형 설치와 내장 컨트롤러 및 Gateway API를 통한 Kubernetes 배포를 모두 지원합니다.