kittors/CliRelay

해결하는 문제

CliRelay는 여러 AI CLI 구독, API 키, OAuth 자격 증명을 하나의 관리 가능한 API 계층으로 통합하기 위해 설계된 통합 프록시 서버입니다. OpenAI, Gemini, Claude, Codex 호환 클라이언트라면 기존 구독을 그대로 사용할 수 있어, 다양한 AI 코딩 도구 간에 별개의 엔드포인트와 인증 방식을 관리할 필요가 없습니다.

작동 방식

기본적으로 포트 8317을 사용하는 게이트웨이로서 Google Gemini, Anthropic Claude, OpenAI Codex 등 다양한 상류 제공업체를 앞에 두고 작동합니다. AI 코딩 도구에서 들어오는 요청을 이들 제공업체로 프록시하며, 다음과 같은 관리 기능을 추가합니다:

• 라우팅 및 로드 밸런싱: API 키 간에 라운드로빈 또는 필스터 스케줄링을 사용하며 백업 채널로 자동 장애 전환을 지원합니다.
• 거버넌스: 역할, 권한, 감사 로그를 갖춘 다중 테넌트 모델로 다양한 사용자 및 팀의 접근을 관리합니다.
• 관측성: 모든 요청을 PostgreSQL 데이터베이스에 로깅하여 토큰 수, 지연 시간, 상태를 추적하며, Redis를 사용해 실시간 상태와 캐시를 관리합니다.
• 관리: 웹 기반 제어판(/manage)과 터미널 TUI를 제공하여 제공업체 설정, API 키 관리, 사용량 모니터링이 가능합니다.

대상 사용자

• 개발자 및 팀: 여러 AI 코딩 도구와 구독을 사용하면서 트래픽을 중앙에서 관리하고 라우팅하고 싶은 사용자.
• 셀프호스팅 사용자: 그룹을 위한 프로덕션 수준의 자체 호스팅 프록시를 원하는 사용자.
• AI 도구 고급 사용자: 세부적인 요청 로깅, 할당량 제어, 다양한 제공업체 간 멀티모달 지원을 원하는 사용자.

주요 특징

• 통합 엔드포인트: Gemini, Claude, Codex, Qwen, xAI/Grok, Bedrock 등 다양한 제공업체를 하나의 진입점으로 지원합니다.
• 다중 테넌시: 테넌트, 사용자, 세밀한 권한 모델을 완전히 지원합니다.
• 세부 모니터링: PostgreSQL에 압축 저장된 포괄적인 요청 캡처와 WebSockets를 통한 실시간 시스템 통계 제공.
• 할당량 및 레이트 제한: 키 기반의 토큰 및 요청 할당량을 자동으로 강제 적용하고 주기적으로 리셋합니다.
• OpenAI 호환성: OpenAI Chat Completions 프로토콜을 지원하는 모든 상류 제공업체와 호환됩니다.
• 보안 기능: 네이티브 OAuth 흐름, 콘텐츠 모니터링 프로필, 클라이언트 식별 헤더를 제거하는 요청 클로킹.