ding113/claude-code-hub

해결하는 문제

CC Hub는 팀이 여러 AI 제공업체(Claude, OpenAI, Gemini 등)에 대한 액세스를 통합할 수 있도록 설계된 AI API 프록시 및 관리 플랫폼입니다. 서로 다른 서비스에 대해 개별 API 키와 엔드포인트를 관리할 필요성을 제거하여 탄력적 스케줄링, 비용 관리 및 관측성을 위한 중앙 집중식 허브를 제공합니다.

작동 방식

Next.js 16, Hono, PostgreSQL 및 Redis로 구축된 이 시스템은 클라이언트와 AI 제공업체 사이의 게이트웨이 역할을 합니다. 인증, 세션 관리, 속도 제한 및 제공업체 선택을 포함하는 파이프라인을 통해 요청을 처리합니다. 서킷 브레이커 보호 기능이 있는 가중치 기반 부하 분산기를 사용하여 요청을 가장 안정적인 제공업체로 라우팅하며, 최대 3번의 페일오버 시도를 수행합니다. 또한 플랫폼은 세션 일관성을 보장하고 빈번한 제공업체 전환을 방지하기 위해 5분간의 컨텍스트 캐시를 유지합니다.

대상 사용자

주로 여러 AI 모델 제공업체를 사용하며 동시성 관리, 비용 추적 및 AI 서비스의 고가용성을 보장하기 위한 전문가급 게이트웨이가 필요한 팀과 개발자를 대상으로 합니다.

주요 특징

• 지능형 부하 분산: 가중치, 우선순위 및 그룹화 기능을 사용하며 내장된 서킷 브레이커 보호 및 자동 페일오버를 제공합니다.
• 멀티 프로바이더 지원: Claude, Codex, Gemini CLI 및 OpenAI 호환 API를 통합하고 사용자 정의 모델 리디렉션을 지원합니다.
• 세밀한 제어: Redis Lua 스크립트를 사용하여 원자성을 보장하며 다차원 속도 제한(RPM, 예산, 동시 세션)을 구현합니다.
• 실시간 모니터링: 사용량, 비용, 활성 세션 및 결정 체인 로그를 추적하기 위한 대시보드를 제공합니다.
• OpenAI 호환성: 도구 호출 및 추론 필드를 형식 변환 없이 통과시키는 /v1/chat/completions 엔드포인트를 제공합니다.
• 자동 문서화: Swagger 및 Scalar UI를 사용하여 OpenAPI 3.1.0 사양을 자동으로 생성하여 테스트를 지원합니다.