diegosouzapw/OmniRoute

📦 什么是 OmniRoute？

OmniRoute 是一个开源的 AI 网关，允许您通过一个 单一的 OpenAI 兼容端点（例如 http://localhost:20128/v1）调用任意 LLM 提供商。它会自动选择最佳后端——从付费订阅到完全免费的层级——并在首个提供方失败时自动切换到另一个提供方。目标是为开发者提供一种 零配置、零成本 使用 LLM 的方式，同时跟踪使用情况、配额和节省 token 的压缩功能。

---

🔑 核心功能（如 README 所述）

功能	说明
352 个 AI 提供商 / 150+ 个免费层级	OmniRoute 维护了一个包含 444 个免费层级条目的目录，覆盖 34 个重复使用的密钥池，通过一个端点对外暴露。
自动故障转移路由	19 种路由策略（订阅 → API 密钥 → 低成本 → 免费）即使某个提供方宕机或限流，也能保持请求持续运行。
令牌压缩（RTK + Caveman）	在发送提示前节省 15–95% 的令牌（平均约 89%），显著延长免费层级的预算。
实时配额遥测	仪表板（/dashboard/free-tiers）显示当前免费令牌预算（约每月 14.7 亿令牌）及各提供方的使用情况。
零配置启动	安装 npm i -g omniroute 后，服务器在 localhost:20128 启动；调用 auto 模型无需任何 API 密钥即可开箱即用。
多模态（视觉/音频/视频）	v3.8.50 版新增——路由器可将图像、音频或视频负载转发给支持这些功能的提供方。
私有/本地优先模式	密钥可使用 AES-256-GCM 加密存储，允许团队共享网关而不将密钥暴露于云端。
CLI 与 MCP 集成	内置完整的命令行界面和“多客户端代理”，可与 36 个现有 CLI/代理（如 Claude Code、Cursor、Cline）集成。
Docker 与 Electron 构建	可作为 npm 包、Docker 镜像和桌面应用使用，可在任何平台上轻松部署。
详尽文档与社区支持	提供文档、Python/Node/PHP/cURL 快速入门示例、Discord/Telegram 社区以及公开路线图。

---

🚀 工作原理（高层次流程）

1. 安装 – npm i -g omniroute（或拉取 Docker 镜像）。服务器在本地启动。
2. 指向您的工具 – 将任何 OpenAI 兼容客户端配置为 http://localhost:20128/v1。
3. 发送请求 – 使用特殊模型名 auto（或 oc/... 指定特定免费后端）。
4. 路由器决策 – OmniRoute 检查配额、健康状态和成本，应用压缩后，将请求转发至选定的提供方。
5. 响应返回 – 客户端收到标准 OpenAI 格式的 JSON 响应，完全不知底层提供方是谁。

---

📊 哪些人可能受益？

• 希望尝试多种 LLM 但不想管理数十个 API 密钥的 开发者与爱好者。
• 希望共享单一网关同时保持使用透明且成本为 $0 的 团队。
• 需要稳定端点以应对提供方中断的 工具开发者（IDE 扩展、CLI 代理等）。
• 希望在统一 API 下对多种模型进行基准测试的 研究人员。

---

📚 更多学习资源

• 快速入门脚本：examples/quickstart/（Python、Node、PHP、cURL）。
• 免费层级方法论：docs/reference/FREE_TIERS.md。
• 路线图与变更日志：ROADMAP.md 和 README 中的版本表。
• 社区：Discord、Telegram、WhatsApp 群组，以及公开网站 omniroute.online。

---

🛠️ 技术栈（列出内容）

• Node.js 运行时（npm 包 omniroute）。
• Docker 容器用于服务器部署。
• Electron 用于桌面 UI。
• RTK + Caveman 压缩算法。
• AES-256-GCM 加密用于本地优先密钥存储。

---

📦 安装选项（摘要）

• npm：npm i -g omniroute → 在 localhost:20128 运行。
• Docker：docker pull diegosouzapw/omniroute。
• 源码：克隆仓库并使用 pnpm/npm 运行。
• Electron：从 GitHub 发布页下载。

---

🎉 总结

OmniRoute 是一个 真实、生产级的网关，聚合了数百个 LLM 提供方，自动优化成本与可用性，并提供即插即用的 OpenAI 兼容 API。它明确处于 AI 工具领域，为任何希望使用 LLM 而无需管理多个密钥或支付使用费的人提供切实价值。