caidaoli/ccLoad

해결하는 문제

ccLoad는 여러 AI API 제공업체를 관리하는 운영 복잡성을 제거하기 위해 설계된 AI API 게이트웨이입니다. 수동 채널 전환, 레이트 제한, 상류 실패(200 OK 응답에 오류 메시지가 포함된 '소프트 에러' 포함), 불투명한 요청 상태와 같은 일반적인 문제를 해결합니다. 또한 채널별 및 토큰별 제한을 구현하여 비용 증가를 방지합니다.

작동 방식

이 시스템은 클라이언트(Claude Code, Codex, Gemini, OpenAI 등)와 다양한 상류 AI 제공업체 사이의 투명한 프록시로 작동합니다. 우선순위 기반 선택과 가중 라운드로빈 선택을 사용한 스마트 라우팅을 통해 자동 장애 전환과 모델 인식 쿨다운을 제공하여 실패한 키나 모델만 건너뛰며 전체 채널을 비활성화하지 않습니다. 다중 URL 스케줄링과 프로토콜 변환을 지원하여 요청이 호환되는 상류 제공업체로 라우팅되도록 보장합니다.

대상 사용자

다양한 클라이언트에서 여러 AI API 키와 제공업체를 사용하고, 라우팅, 장애 전환, 비용 제어, 모니터링을 중앙에서 관리하고자 하는 개발자 및 팀입니다.

주요 기능

• 스마트 라우팅 및 장애 전환: 우선순위 기반 선택과 지수 백오프를 사용한 키, 모델, 채널의 자동 장애 전환.
• 모델 인식 쿨다운: 전체 채널을 비활성화하지 않고 영향을 받은 모델이나 키만 개별적으로 쿨다운.
• 포괄적인 모니터링: 실시간으로 활성 요청, 토큰 사용량, TTFB, 비용을 추적할 수 있는 웹 대시보드.
• 프로토콜 변환: 다양한 클라이언트 프로토콜을 지원하며, 상류 기능에 따라 자동 감지 또는 명시적 라우팅 가능.
• 비용 및 레이트 제어: 채널별 일일 비용 제한, RPM 제한, 동시성 제한을 구현.
• 광범위한 제공업체 지원: OAuth 채널(Codex, Anthropic, xAI) 및 다양한 API 키 기반 제공업체와의 통합 지원.