HotRiceNoodles/CrossLink

해결하는 문제

CrossLink는 여러 AI 모델에 단일 엔드포인트를 제공하여 공급자 종속을 제거하는 범용 LLM API 게이트웨이입니다. 이는 각 LLM 공급자의 API 형식, 인증 방법 및 기능 세트에 대해 별도의 통합 코드를 작성해야 하는 문제를 해결합니다.

작동 방식

애플리케이션과 다양한 LLM 공급자(예: OpenAI, Anthropic, Azure, DeepSeek, Ollama) 사이의 프록시 역할을 합니다. 게이트웨이는 양방향 프로토콜 변환을 수행하여 OpenAI 및 Anthropic 형식 간에 요청과 스트리밍 응답을 실시간으로 변환합니다. 가중 무작위 또는 최소 지연 시간과 같은 전략에 따라 트래픽을 분산하는 라우팅 엔진과 일시적 오류와 영구적 오류를 구분하여 장애 조치를 지능적으로 관리하는 오류 분류 시스템이 포함되어 있습니다.

대상

여러 LLM 공급자를 사용하고 통합 인터페이스, 탄력적인 라우팅, 비용·보안·도구 액세스에 대한 중앙 집중식 제어를 원하는 개발자와 조직.

주요 기능

• 양방향 스트리밍 변환: 상태 머신을 사용하여 OpenAI, Anthropic 및 Responses API 간에 스트리밍 SSE를 변환합니다.
• 오류 분류 장애 조치: DB 기반 규칙 테이블을 사용하여 할당/청구 오류와 속도 제한을 구분하여 맹목적인 재시도를 방지합니다.
• MCP 게이트웨이: 도구별 RBAC 및 암호화된 자격 증명을 갖춘 Model Context Protocol을 구현합니다.
• 플러그형 가드레일: 사용자 정의 엔진(예: 키워드 필터, 자격 증명 감지)을 통해 콘텐츠를 차단, 기록 또는 마스킹하는 레지스트리입니다.
• 관찰 가능성: 상세한 라우팅 통계, 토큰 사용 분석 및 x-crosslink-fallback-* 응답 헤더를 제공합니다.
• 규정 준수 준비: 중국 국가 암호 알고리즘(SM2/SM3/SM4) 및 에어갭 배포를 지원합니다.