agentgateway/agentgateway

해결하는 문제

Agentgateway는 에이전틱 AI를 위한 통합 연결 및 보안 계층을 제공합니다. 에이전트, LLM, 외부 도구 간의 복잡한 통신을 관리하는 문제를 해결하며, 각 개별 에이전트 프레임워크에 이러한 기능을 다시 구축할 필요 없이 보안, 관찰 가능성, 거버넌스를 중앙에서 처리할 수 있는 방법을 제공합니다.

작동 방식

MCP(Model Context Protocol) 및 A2A(Agent-to-Agent)와 같은 AI 네이티브 프로토콜을 기반으로 하는 오픈소스 프록시로 작동합니다. 세 가지 주요 게이트웨이를 통해 트래픽을 라우팅합니다:

• LLM 게이트웨이: 다양한 공급자(OpenAI, Anthropic, Gemini, Bedrock)로 트래픽을 라우팅하는 통합 OpenAI 호환 API로, 예산 제어 및 부하 분산이 내장되어 있습니다.
• MCP 게이트웨이: 다양한 전송(stdio, HTTP, SSE) 및 OpenAPI 통합을 사용하여 LLM을 도구 및 데이터 소스에 연결합니다.
• A2A 게이트웨이: 서로 다른 AI 에이전트 간의 안전한 통신 및 작업 협업을 촉진합니다.

또한 Kubernetes에서 자체 호스팅 모델을 위한 추론 라우팅 시스템, 콘텐츠 필터링을 위한 다중 계층 가드레일, RBAC 및 OpenTelemetry 통합을 포함한 강력한 보안 제품군이 포함되어 있습니다.

대상 사용자

에이전트 워크플로우를 구축하는 개발자 및 조직으로, 다양한 LLM 공급자와 에이전트 프레임워크 간에 API 키, 지출, 보안 정책, 도구 연결을 중앙에서 관리해야 하는 경우에 적합합니다.

주요 기능

• 통합 API: 단일 OpenAI 호환 인터페이스를 통해 여러 LLM 공급자에 액세스.
• 도구 연합: MCP를 통해 LLM을 외부 데이터 및 도구에 연결.
• 에이전트 상호 운용성: A2A 프로토콜을 사용하여 안전한 에이전트 간 통신을 가능하게 함.
• 추론 최적화: GPU 사용률 및 KV 캐시를 기반으로 자체 호스팅 모델을 위한 지능형 라우팅.
• 엔터프라이즈 보안: 내장 RBAC, JWT/OAuth 인증, 콘텐츠 가드레일.