BenedictKing/ccx

해결하는 문제

CCX는 여러 AI 서비스 제공업체를 통합하기 위한 고성능 API 프록시 및 프로토콜 변환 게이트웨이입니다. 분산된 API 키 관리, 서로 다른 프로토콜 형식(Claude, OpenAI, Gemini 등), 그리고 다양한 모델 간 신뢰할 수 있는 요청 라우팅의 필요성을 해결합니다.

작동 방식

클라이언트와 다양한 AI 백엔드 사이의 중간 계층으로 작동합니다. 통합된 진입점 제공 및 상류 제공업체에 필요한 특정 형식으로 요청을 변환합니다. 시스템에는 채널 관리, 트래픽 모니터링, 라우팅 로직 구성이 가능한 웹 관리 콘솔이 포함되어 있습니다.

대상 사용자

다양한 제공업체의 여러 AI 모델을 사용하고, 키를 중앙에서 관리하고, 장애 대체를 처리하며, 사용 통계를 모니터링할 필요가 있는 개발자 및 팀입니다.

주요 기능

• 통합 API 게이트웨이: Claude, OpenAI(채팅, 이미지, 임베딩), Codex, Gemini API를 지원합니다.
• 채널 오케스트레이션: 드래그 앤 드롭을 통한 우선순위 조정, 헬스 체크, 자동 장애 대체 기능이 있습니다.
• 컨텍스트 기반 라우팅: 모델의 실제 컨텍스트 창 크기와 출력 기능을 기반으로 후보 채널을 필터링합니다.
• 통합 관리: 실시간 모니터링 및 로그를 위한 내장 웹 관리 콘솔이 포함되어 있습니다.
• 간편한 배포: 네이티브 데스크톱 앱, Docker, 또는 단일 바이너리로 설치할 수 있습니다.