cheaper-inference/OmniRoute

OmniRoute – 一个免费的“AI 网关”，让您通过单个端点调用数十个 LLM 提供商

它是什么 – OmniRoute 是一个自托管服务（可作为 npm 包、Docker 镜像或 Electron 应用使用），将 375+ 个 AI 模型提供商（OpenAI、Claude、Gemini 等）聚合在 一个 HTTP API（兼容 /v1/chat/completions）之后。您可以为任何受支持的提供商注册自己的 API 密钥，OmniRoute 会将每个请求路由到最佳可用后端，并在提供商宕机或达到配额时自动回退。

为什么重要 – LLM API 的格局是碎片化的：每个供应商都有自己的 URL、认证方案、速率限制和定价。OmniRoute 消除了这种摩擦，并且它还叠加了多个提供商的免费层配额，为用户提供跨 150+ 个免费层服务的估计 ~16 亿免费令牌/月。它还应用了压缩层（RTK + Caveman），可以将令牌使用量减少 15-95%，进一步延长免费使用。

主要特性

• 庞大的提供商目录 – 375 个提供商，1,320 个唯一模型 ID，带有实时仪表板，显示免费层预算和剩余配额。
• 自动路由和回退 – 选择 model: "auto"，OmniRoute 会选择一个健康的提供商；如果失败，它会无缝重试另一个。
• 配额感知调度 – 跟踪每个提供商的令牌限制，并分散流量以避免耗尽任何单个免费层。
• 令牌压缩 – 内置的 RTK + Caveman 压缩在符合条件的调用中可节省高达 95% 的令牌。
• 多模态 – 支持文本、视觉、音频和视频模型（通过“模态桥”）。
• CLI 和代理集成 – 37+ 个命令行工具和编码代理可以指向同一个 OmniRoute 端点。
• 无头/服务器模式 – 作为后台服务运行（serve --headless）或作为桌面 Electron 应用。
• 隐私优先 – 所有路由都在本地进行；您的 API 密钥不会离开您的机器，除非您明确共享。

如何开始

1. 通过 npm（npm i -g omniroute）、Docker 安装，或下载 Electron 应用。
2. 运行服务，打开 Web 仪表板，并添加您要使用的提供商的 API 密钥。
3. 在任何客户端（cURL、Python、Node 等）中使用生成的 OmniRoute 密钥，并调用标准的 OpenAI 兼容端点。

典型用例 – 构建聊天机器人的开发人员希望避免为 OpenAI 使用付费。通过安装 OmniRoute，他们可以利用数十个免费层 LLM，仅在所有免费配额耗尽时自动切换到付费提供商，并借助内置压缩降低令牌成本。

运行环境 – 适用于任何可以运行 Node.js 或 Docker 的平台，也提供跨平台 Electron 桌面应用。

社区和支持 – 活跃的 Discord、Telegram、WhatsApp 群组，以及公开路线图和赞助选项。

---

TL;DR – OmniRoute 是一个免费的开源网关，将数百个 LLM API 统一到一个端点后面，自动路由、节省令牌，并让您利用跨提供商的免费层配额。