HotRiceNoodles/CrossLink

解决的问题

CrossLink 是一个通用的 LLM API 网关，通过为多个 AI 模型提供单一端点，消除了供应商锁定的问题。它解决了必须为每个不同 LLM 提供商的 API 格式、认证方法和功能集编写单独集成代码的问题。

工作原理

它充当应用程序与各种 LLM 提供商（如 OpenAI、Anthropic、Azure、DeepSeek 和 Ollama）之间的代理。网关执行双向协议转换，实时转换 OpenAI 和 Anthropic 格式之间的请求和流式响应。它包含一个路由引擎，根据加权随机或最低延迟等策略分配流量，以及一个错误分类系统，区分瞬时故障和永久故障，以智能管理故障转移。

适用对象

使用多个 LLM 提供商，并希望拥有统一接口、弹性路由，以及对成本、安全性和工具访问集中控制的开发人员和组织。

亮点

• 双向流式转换：使用状态机在 OpenAI、Anthropic 和 Responses API 之间转换流式 SSE。
• 错误分类故障转移：使用数据库支持规则表区分配额/计费错误与速率限制，以防止盲目重试。
• MCP 网关：实现模型上下文协议，具有每个工具的 RBAC 和加密凭据。
• 可插拔护栏：一个注册表，用于通过自定义引擎（例如关键字过滤、凭据检测）阻止、记录或屏蔽内容。
• 可观测性：提供详细的路由统计、令牌使用分析，以及 x-crosslink-fallback-* 响应头。
• 合规就绪：支持中国国家密码算法（SM2/SM3/SM4）和隔离网部署。