OmniRoute：一个免费的 AI 网关，在 290 个提供商之间自动回退并通过令牌压缩消除速率限制

它解决的问题

OmniRoute 是一个 AI 网关，可防止因 API 速率限制、配额到期和高成本导致的编码中断。它将数百个 AI 提供商和免费层级聚合到一个端点，使用户能够在不更改工具配置的情况下自动在模型和提供商之间切换。

它是如何工作的

OmniRoute 作为一个本地代理（运行在 localhost:20128）工作，它将来自 OpenAI 兼容工具（如 Cursor、Claude Code 或 Cline）的请求转译到 290 个提供商的庞大网络。它使用“层级级联”系统将请求路由通过四个层级：订阅、API 密钥、廉价和免费。如果较高层级的提供商出现故障或达到限制，它会静默回退到下一个可用选项。

它适用于谁

它专为使用多个编码代理和 LLM 的开发者和 AI 高级用户设计，旨在最大化其免费层级，避免意外账单，并在开发过程中保持零停机时间。

亮点

• 巨大的提供商网络：可访问 290 个提供商，包括超过 90 个免费层级和 516 个模型。
• 自动回退：19 种不同的路由策略（例如，成本优化、延迟优先或质量优先），以确保请求始终获得响应。
• 令牌压缩：使用 RTK 和 Caveman 堆叠压缩，平均减少 89% 的令牌使用量（范围从 15% 到 95%）。
• 零配置启动：安装后即可立即使用，预配置了无需密钥的免费提供商。
• 本地优先隐私：具有 AES-256-GCM 加密密钥和本地优先架构。

摘要: 一个 AI 网关，将 290+ 个提供商和免费层级聚合到一个端点，具备自动回退和令牌压缩，以防止速率限制并降低成本。

标题: OmniRoute：一个免费的 AI 网关，在 290 个提供商之间自动回退并通过令牌压缩消除速率限制