apache/apisix

Apache APISIX – AI 준비가 완료된 API 게이트웨이

개요 – Apache APISIX는 NGINX와 etcd를 기반으로 구축된 오픈 소스 고성능 API 게이트웨이입니다. 서비스 앞단에 위치하여 트래픽을 라우팅, 로드 밸런싱, 보안 보호 및 모니터링합니다. 특수한 AI Gateway 모드를 사용하면 대규모 언어 모델(LLM) 제공업체를 일반적인 업스트림 서비스처럼 취급하여 AI 워크로드에 대한 속도 제한, 재시도, 비용 제어 기능을 추가할 수 있습니다.

주요 기능

• 동적 라우팅 및 핫 리로드 – 재시작 없이 경로 또는 플러그인 변경 가능.
• 풍부한 트래픽 관리 – 로드 밸런싱(라운드 로빈, 해시, 사용자 정의), 카나리 릴리스, 블루-그린 배포, 트래픽 분할, 서킷 브레이커, 요청/응답 재작성.
• 다중 프로토콜 지원 – HTTP/HTTPS, gRPC, gRPC-Web, TCP/UDP, MQTT, Dubbo, WebSocket, HTTP/3 (QUIC).
• 보안 및 인증 – JWT, key-auth, basic-auth, RBAC, Casbin, Keycloak, IP/Referer 화이트리스트, CSRF, CORS, 속도 제한 플러그인.
• 관측 가능성 – Prometheus 메트릭, Zipkin, SkyWalking, 광범위한 로깅(Kafka, Elasticsearch, ClickHouse 등).
• 확장 가능한 플러그인 – Lua로 작성하거나 RPC를 통해 외부 Java/Go/Python 사용, 또는 Proxy Wasm SDK를 사용한 WebAssembly(Wasm) 지원.
• AI-Gateway 기능 – 다중 LLM 제공업체에 대한 통합 프록시, 모델 간 로드 밸런싱, 토큰 기반 속도 제한, 보안 인증 및 폴백 처리.
• 배포 유연성 – 독립형, Docker, 베어메탈 또는 Kubernetes Ingress 컨트롤러로 실행 가능하며 ARM64 및 클라우드 네이티브 환경을 지원.

일반적인 사용 사례

• 단일화되고 중앙에서 관리되는 진입점 뒤에 마이크로서비스 노출.
• 내부 API 및 외부 파트너를 위한 안전하고 관측 가능한 파사드 제공.
• AI 워크로드 배포: OpenAI, Anthropic 또는 자체 호스팅 LLM으로 요청 라우팅, 토큰 예산 강제 적용, 제공업체 간 자동 전환.
• 새로운 서비스 버전을 위한 A/B 테스트, 카나리 롤아웃 또는 트래픽 분할 구현.

시작하기 – Docker를 이용한 빠른 시작:

curl -sL https://run.api7.ai/apisix/quickstart | sh

그 후 Admin API(포트 9180)를 사용하여 경로를 생성합니다(예: /get을 httpbin.org로 프록시).

커뮤니티 및 지원 – Apache 프로젝트로서 활발한 메일링 리스트, Slack, GitHub 토론 및 전용 대시보드 저장소를 운영합니다. NASA JPL, Tencent, Zoom과 같은 기업들이 이미 프로덕션 환경에서 APISIX를 사용하고 있습니다.

---

모든 세부 정보는 저장소의 README에서 직접 가져왔습니다.