higress-group/higress

🤖 AI Gateway | AI Native API Gateway

해결하는 문제

Higress는 대규모 언어 모델(LLM) API 및 모델 컨텍스트 프로토콜(MCP) 서버의 관리를 단순화하기 위해 설계된 AI 네이티브 API 게이트웨이입니다. 다양한 모델 제공업체에 접속할 때 통일된 프로토콜을 제공하면서도, AI 기반 애플리케이션을 위한 생산성 수준의 트래픽 관리, 보안, 관측성을 제공합니다.

작동 방식

Istio와 Envoy를 기반으로 하며, Wasm(WebAssembly) 플러그인 메커니즘을 사용하여 기능을 확장합니다. 이를 통해 LLM API 및 MCP 서버의 통합 진입점으로 작동하며, 인증, 레이트 제한, 라우팅을 처리하는 추상화 계층을 제공합니다. 요청 및 응답 본문에 대한 진정한 스트리밍 처리를 지원하여, Server-Sent Events(SSE)를 사용하는 고대역폭 AI 서비스의 메모리 오버헤드를 크게 줄입니다.

대상 사용자

모델 제공업체와 도구 호출 서비스를 안전하고 확장 가능하며 관측 가능한 게이트웨이로 관리하고자 하는 AI 에이전트 및 LLM 기반 애플리케이션을 개발하는 개발자 및 조직을 대상으로 합니다.

주요 특징

  • AI 게이트웨이 기능: 주요 모델 제공업체 모두를 위한 통일 프로토콜, 다중 모델 로드 밸런싱, 토큰 레이트 제한, 캐싱.
  • MCP 서버 호스팅: 플러그인을 통해 MCP 서버를 호스팅하여 AI 에이전트가 도구 및 서비스를 호출할 수 있도록 지원하며, OpenAPI 사양을 원격 MCP 서버로 변환하는 도구도 포함.
  • Wasm 플러그인 시스템: Go, Rust, JS로 작성된 플러그인을 지원하여 메모리 안전하고 트래픽 손실 없이 핫 업데이트 가능한 게이트웨이 로직을 구현.
  • 클라우드 네이티브: CNCF Sandbox 프로젝트로, Kubernetes Ingress 및 Gateway API 표준과 호환.
  • 생산 수준: 설정 변경 시 트래픽 진동을 제거하여 장시간 연결형 AI 비즈니스에 매우 적합.

관련

  • 프로젝트
    hatchet-dev/hatchet

    Hatchet는 신뢰할 수 있는 백그라운드 작업, AI 에이전트 파이프라인, 내구성 워크플로우를 실행할 수 있는 오픈소스 오케스트레이션 엔진입니다. 모든 상태를 PostgreSQL에 저장하며, 재시도, 스케줄링, DAG, 레이트 제한, 우선순위 큐, 실시간 UI를 제공하고, Python, TypeScript, Go, Ruby용 SDK를 지원합니다. 마이크로서비스로 제공되거나 Docker를 통해 자가 호스팅할 수 있습니다.

  • Dispatch
    HUGS 출시: 무구성, 하드웨어 최적화 추론을 위한 오픈 LLM

    Hugging Face는 무구성, 하드웨어 최적화 추론 서비스인 HUGS를 출시했습니다. 이 서비스는 NVIDIA, AMD, 그리고 곧 AWS Inferentia와 Google TPU에서 실행되며, 기업이 OpenAI 호환 API를 통해 모델을 사내에 호스팅할 수 있게 합니다.

  • 프로젝트
    microsoft/mcp-gateway

    MCP Gateway는 Model Context Protocol (MCP) 서버를 위한 오픈 소스 Kubernetes-native 역방향 프록시 및 관리 계층입니다. REST control-plane을 통해 MCP adapters와 tools를 생성, 업데이트 및 모니터링할 수 있으며, session-aware routing, Azure Entra ID RBAC, 내장 React 포털, 그리고 선택적 LLM 기반 에이전트를 제공합니다. Docker/K8s를 사용하여 로컬에서 배포하거나 원클릭 Azure 템플릿으로 배포할 수 있습니다.

  • 프로젝트
    DevYangJC/Argus

    Argus는 오픈 소스, 엔터프라이즈급 RAG 플랫폼으로, 개인 문서를 수집하고 벡터 및 키워드 인덱스를 구축하며, 실제 소스를 반드시 인용해야 하는 LLM으로 질문에 답합니다. 여기에는 Spring AI 기반 ReactAgent 채팅, RRF 퓨전을 통한 하이브리드 검색, 다단계 증거 평가, 역할 기반 보안 및 Vue 3 프론트엔드가 포함됩니다.

  • 프로젝트
    yuruotong1/autoMate

    autoMate는 AI 채팅 클라이언트에 지속적인 개인 저장소(노트, 파일, 알림, 장기 기억)와 실제 세계 작업 도구(쉘, 브라우저, SaaS API)를 제공하는 로컬 호스팅 서비스입니다. MCP-over-HTTP 브리지를 통해 클라이언트와 통신하며 OpenClaw, Claude Desktop, Cursor, Cline 등과 호환되며, 자체 웹 채팅, Chrome 확장, Docker 컨테이너, 바이너리로도 사용 가능합니다.