HotRiceNoodles/CrossLink

해결하는 문제

CrossLink은 OpenAI, Anthropic, Azure, DeepSeek, Ollama와 같은 다양한 AI 프로바이더 간의 서로 다른 API 형식, 인증 방식, 기능 세트를 관리하는 문제를 해결하는 유니버설 LLM API 게이트웨이입니다. 단일 엔드포인트를 제공함으로써 프로바이더 종속성에서 벗어나게 해줍니다.

작동 방식

양방향 프로토콜 번역기 및 프록시로 작동합니다. 애플리케이션은 OpenAI 또는 Anthropic 형식으로 요청을 보내며, CrossLink은 상태 기계를 사용하여 실시간으로 요청과 스트리밍 응답(SSE)을 번역합니다. 6가지 다른 라우팅 전략(예: 가중 무작위 또는 최소 지연)을 관리하고, 일시적 오류(예: 요청 제한)와 지속적 오류(예: 청구 문제)를 구분하는 오류 분류 기반 패일오버 시스템을 구현하여 더 스마트한 재시도를 보장합니다.

대상 사용자

여러 LLM 프로바이더를 사용하고 있으며, 통합 인터페이스, 강건한 라우팅, 비용, 보안, 도구 접근의 중앙 집중적 제어를 원하는 개발자 및 조직.

주요 특징

• 양방향 스트리밍 번역: OpenAI, Anthropic, Responses API 형식 간 실시간 변환을 지원하며, 사고 블록 및 도구 인수도 포함.
• 오류 분류 기반 패일오버: DB 기반 규칙 테이블을 사용해 실패를 분류하여 '맹목적인 재시도'를 방지.
• MCP 게이트웨이: 도구별 RBAC, 도구 탐색, 암호화된 자격 증명을 갖춘 Model Context Protocol 게이트웨이.
• 플러그인 가능한 가드레일: 콘텐츠 안전 엔진의 레지스트리로, 응답을 차단하거나 로깅하거나 마스킹할 수 있음.
• 라우팅 투명성: 응답 헤더와 라우팅 분포 API를 통해 상세한 관측 가능성을 제공.
• 준수 대응: 중국 국가 암호(SM2/SM3/SM4) 및 오프라인 배포를 지원.
• 관리자 대시보드: Vue 3 기반 웹 UI로 프로바이더, 모델, API 키, 사용 분석을 관리할 수 있음.