Nya-Foundation/NyaProxy

해결하는 문제

NyaProxy는 외부 또는 내부 API(예: AI 제공자, 이미지 생성, SaaS 서비스 등)에 대한 접근을 중앙에서 관리할 수 있는 방법을 제공합니다. 클라이언트 애플리케이션에 민감한 API 키를 노출하지 않고도 안전하게 API 키를 관리할 수 있습니다. 하나의 서비스에 대해 여러 인증 정보를 관리하는 문제, 레이트 제한 처리, 자동 재시도 및 장애 대체를 통해 고가용성을 보장하는 문제를 해결합니다.

작동 방식

NyaProxy는 애플리케이션과 상류 서비스 사이에 위치하는 API 게이트웨이로 작동합니다. 애플리케이션은 내부 프록시 키를 사용하여 NyaProxy에 인증합니다. NyaProxy는 관리되는 풀에서 적절한 상류 인증 정보를 주입하여 요청을 대상 API로 전달합니다. 구성 가능한 로드 밸런싱 전략을 사용하여 키를 순환하고, 엔드포인트, 키, 사용자 단위로 레이트 제한을 적용합니다. 특정 오류 코드로 인해 요청이 실패한 경우, NyaProxy는 자동으로 다른 키로 전환하고 요청을 재시도할 수 있습니다.

대상 사용자

인증 정보의 중앙 집중화, 할당량 기반 라우팅 구현, 상류 API 키가 프론트엔드 또는 클라이언트 측 코드에 노출되는 것을 방지하고자 하는 팀 및 개발자에게 적합합니다.

주요 기능

• 자격 증명 풀링 및 주입: 여러 상류 키 간에 트래픽을 로테이션하여 할당량 사용을 최대화합니다.
• 고급 로드 밸런싱: 라운드로빈, 랜덤, 최소 요청 수, 최신 응답, 가중치 선택을 지원합니다.
• 회복성: 자동 재시도, 장애 대체, 실패하거나 취소된 키를 일시적으로 차단하는 '격리' 시스템을 제공합니다.
• 트래픽 제어: 엔드포인트, 키, IP, 사용자 단위의 다중 범위 레이트 제한 및 요청 대기열을 구현합니다.
• 요청 수정: JMESPath 규칙을 사용하여 요청 본문의 JSON 필드를 설정하거나 제거할 수 있어 프로바이더 호환성을 확보합니다.
• 가시성: 웹 대시보드와 Prometheus 메트릭 엔드포인트를 포함합니다.