diegosouzapw/OmniRoute

它解决了什么问题

OmniRoute 是一个 AI 网关，旨在防止因 API 速率限制、配额过期和高昂成本而导致的编码中断。它将数百个 AI 提供商和免费层级聚合到一个单一端点，允许用户在不更改工具配置的情况下，在不同模型和提供商之间自动切换。

工作原理

OmniRoute 作为一个本地代理（运行在 localhost:20128）工作，将来自兼容 OpenAI 的工具（如 Cursor、Claude Code 或 Cline）的请求转换为发往包含 290 个提供商的庞大网络。它使用“层级级联”系统，通过四个级别路由请求：订阅 (Subscription)、API Key、廉价 (Cheap) 和免费 (Free)。如果较高层级的提供商失败或达到限制，它会静默回退到下一个可用选项。

适用人群

它专为开发者和 AI 高级用户设计，这些用户使用多个编程代理和 LLM，并希望最大限度地利用免费层级、避免意外账单，并在开发过程中保持零停机时间。

亮点

• 庞大的提供商网络：可访问 290 个提供商，包括 90 多个免费层级和 516 个模型。
• 自动回退：提供 19 种不同的路由策略（例如：成本优化、延迟优先或质量优先），以确保请求始终能获得响应。
• Token 压缩：使用 RTK 和 Caveman 堆叠压缩技术，平均减少 89% 的 Token 使用量（范围从 15% 到 95%）。
• 零配置启动：安装后即可立即使用，内置了预设的免密钥免费提供商。
• 本地优先隐私：采用 AES-256-GCM 加密密钥和本地优先架构。