caidaoli/ccLoad

ccLoad – 자체 호스팅 AI API 게이트웨이

기능 – ccLoad는 자체 머신이나 서버에서 실행하는 Go 기반 역방향 프록시입니다. 다양한 대규모 언어 모델 제공업체(Claude, OpenAI, Gemini, Codex 등) 앞에 배치되어 클라이언트 도구가 사용하는 단일 API 엔드포인트와 토큰을 제공합니다. 게이트웨이는 업스트림 채널(자격 증명 집합 또는 구독 계정)을 선택하고, 실패 시 재시도하며, 서로 다른 요청 형식 간에 변환하고, 사용량과 비용을 기록합니다.

대상 사용자 –

• 여러 AI 구독을 보유하고 있으며, 할당량이 소진된 키가 코딩 세션을 중단하지 않도록 단일 액세스 지점을 원하는 개발자.
• 모델, 지출 또는 동시성에 제한이 있는 사용자별 또는 프로젝트별 API 토큰이 필요한 팀.
• 많은 자격 증명을 관리하고 상태 기반 라우팅, 예약된 상태 확인, 웹 콘솔이 필요한 운영자.

주요 기능

• 채널 관리 – API 키 기반 서비스, 릴레이 URL 또는 OAuth 기반 계정(Claude, Codex/ChatGPT, Antigravity, xAI 등)을 추가합니다. 각 채널은 제공할 수 있는 모델을 나열합니다.
• 장애 조치 및 쿨다운 – 지수 백오프를 사용한 자동 재시도. 키/모델/채널 범위로 지정되며 업스트림 속도 제한 창을 존중합니다.
• 프로토콜 변환 – Anthropic, OpenAI, Codex Responses, Gemini 클라이언트를 지원하며 클라이언트와 업스트림 프로토콜이 다를 때 요청을 변환합니다.
• 토큰 기반 액세스 제어 – 토큰별 비용 상한, 모델 허용/거부 목록, 동시성 제한, 읽기 전용 콘솔 보기가 있는 API 토큰을 생성합니다.
• 관찰 가능성 – 실시간 요청, 로그, 비용 내역, 진행 중인 요청을 중단하는 기능을 보여주는 대시보드.
• 가벼운 배포 – 내장 SQLite(선택적 MySQL/PostgreSQL)가 있는 단일 바이너리, amd64/arm64용 Docker 이미지, Homebrew 포뮬러, 무료 Hugging Face Spaces 옵션도 제공합니다.

시작하는 방법

1. 설치 – Docker(권장), Docker-Compose, Homebrew 또는 릴리스 페이지에서 바이너리를 다운로드합니다.
2. 실행 – 서비스는 포트 8080에서 수신 대기합니다. 관리자 비밀번호는 CCLOAD_PASS로 설정합니다.
3. 관리 콘솔 – http://<host>:8080/web/에 방문하여 채널을 추가하고 클라이언트 토큰을 만듭니다.
4. 클라이언트 구성 – Claude Code, Codex CLI 또는 모든 OpenAI 호환 SDK를 http://<host>:8080/v1로 지정하고 생성된 토큰을 API 키로 사용합니다.
5. 모니터링 – 기본 제공 대시보드를 사용하여 사용량, 비용, 상태 정보를 확인합니다.

사용 이유 – 코드에 다양한 키를 포함할 필요가 없으며, 제공업체가 다운되거나 할당량이 소진될 때 자동 장애 조치를 제공하고, 각 모델 또는 토큰의 비용을 명확하게 기록할 수 있습니다.

라이선스 – MIT.