BenedictKing/ccx

해결하는 문제

CCX는 여러 AI 제공업체에 대한 접근을 통합하기 위해 설계된 고성능 API 프록시 및 프로토콜 변환 게이트웨이입니다. Claude, OpenAI, Gemini와 같은 다양한 서비스에 대해 별도의 API 키와 프로토콜을 관리할 필요 없이, AI 애플리케이션용 단일 진입점을 제공합니다.

작동 방식

클라이언트와 다양한 AI 백엔드 사이의 미들웨어 계층으로 작동합니다. 서로 다른 API 프로토콜 간의 요청을 변환하고, "채널" 시스템을 통해 트래픽을 관리합니다. 사용자는 특정 API 키, 모델 매핑, 사용자 정의 헤더를 포함한 채널을 구성할 수 있습니다. 스마트 스케줄링, 헬스 체크, 장애 대체 메커니즘을 통해 신뢰성을 보장합니다.

대상 사용자

다양한 제공업체의 여러 AI 모델을 사용하고 있으며, 키 관리, 트래픽 라우팅, 모든 AI 통합에서의 사용량 모니터링을 중앙에서 관리하고자 하는 개발자 및 팀입니다.

주요 기능

• 통합 API 게이트웨이: Claude, OpenAI(채팅, 이미지, 임베딩), Codex, Gemini API를 지원합니다.
• 채널 오케스트레이션: 우선순위 시각화, 헬스 모니터링, 드래그 앤 드롭을 통한 우선순위 조정 기능.
• 신뢰성 도구: 내장된 장애 대체, 회로 복구, 모델의 컨텍스트 창 기반 스마트 스케줄링.
• 관리 콘솔: 테스트, 로그, 실시간 트래픽 통계를 통합한 웹 관리 UI.
• 유연한 배포: 네이티브 데스크톱 앱, Docker 컨테이너, 독립형 바이너리로 제공됩니다.