higress-group/higress

해결하는 문제

Higress는 AI 워크로드의 특정 요구 사항을 처리하도록 설계된 AI 네이티브 API 게이트웨이입니다. 여러 LLM 제공자를 통합된 프로토콜로 관리하는 문제를 해결하며, 토큰 속도 제한, 다중 모델 로드 밸런싱, AI 관측 가능성과 같은 필수적인 프로덕션급 제어 기능을 제공합니다. 또한 Model Context Protocol (MCP) 서버를 호스팅하여 AI 에이전트 배포를 간소화함으로써 에이전트가 도구와 서비스에 더 안정적으로 액세스할 수 있도록 합니다.

작동 원리

Istio와 Envoy를 기반으로 구축된 Higress는 Wasm (WebAssembly) 플러그인 아키텍처를 사용합니다. 이를 통해 게이트웨이를 재시작하지 않고도 Go, Rust 또는 JavaScript로 작성된 플러그인을 사용하여 게이트웨이 로직을 확장할 수 있습니다. 요청 및 응답 본문에 대한 진정한 스트리밍 처리를 지원하여 SSE (Server-Sent Events)와 같은 고대역폭 AI 스트리밍 프로토콜의 메모리 오버헤드를 크게 줄입니다.

대상 사용자

• AI 개발자: 다양한 모델 제공자에 연결할 통합된 방법이 필요한 에이전트 또는 LLM 기반 앱 개발자.
• 플랫폼 엔지니어: 프로덕션 준비가 완료된 Kubernetes Ingress Controller 또는 리소스 오버헤드가 낮은 마이크로서비스 게이트웨이가 필요한 팀.
• 엔터프라이즈 AI 팀: AI 도구 호출 및 LLM API에 대해 세밀한 보안, 감사 로그, 속도 제한이 필요한 조직.

주요 특징

• AI 게이트웨이 기능: LLM 제공자를 위한 통합 프로토콜, 토큰 기반 속도 제한, Kubernetes에서의 추론 인식 라우팅.
• MCP 서버 호스팅: 원격 MCP 서버를 호스팅하고 관리하는 기능(OpenAPI 사양을 MCP 서버로 변환하는 도구 포함).
• 프로덕션 품질: 구성 변경 중 트래픽 지터를 제거하여 AI 스트리밍을 위한 안정적인 장기 연결을 보장합니다.
• Wasm 플러그인 시스템: 메모리 안전성이 보장되고 샌드박스로 격리된 플러그인으로, 트래픽 손실 없이 핫 업데이트를 지원합니다.
• 클라우드 네이티브: Kubernetes Ingress 및 Gateway APIs와 호환되는 CNCF Sandbox 프로젝트입니다.