Continuum-AI-Corp/OrcaRouter-Lite

解决的问题

OrcaRouter Lite 是一个自托管的 LLM 路由器，允许用户通过单个兼容 OpenAI 的 API 管理多个 AI 提供商（如 OpenAI、Anthropic 和 Google）。它通过提供统一的接口和自动化的方式，为给定任务选择最具成本效益的模型，消除了在应用程序中编写复杂路由逻辑或手动成本优化代码的需求。

工作原理

该系统充当代理服务器。用户为各种提供商提供自己的 API 密钥（BYOK），服务器将请求路由到适当的模型。一个关键功能是 model="auto" 设置，它会自动选择符合请求特定要求（如视觉能力或 JSON 模式）的最便宜可用模型。它还支持 Anthropic 和 Gemini 的原生协议端点，这意味着使用这些特定 SDK 的客户端可以直接连接，而无需 OpenAI 兼容的包装器。

适用对象

它专为希望自托管路由器以保持对其 LLM 基础设施控制权的开发者和团队而设计，同时仍能受益于多提供商支持、自动成本优化，以及在本地提供商故障时受管理的回退到托管服务。

亮点

• 自动路由：model="auto" 功能根据请求需求挑选最便宜且能胜任的模型。
• 多协议支持：原生支持 OpenAI、Anthropic 和 Gemini 的线路格式。
• 跨提供商提示缓存：通过在不同提供商之间缓存确定性请求，降低成本和延迟。
• 自托管仪表板：包含内置仪表板，用于管理提供商密钥、路由策略，以及查看支出和延迟的本地分析。
• 受管理的回退：可配置为使用 OrcaRouter 的托管版本，作为用户未管理密钥之提供商的安全网。