diegosouzapw/OmniRoute

Never stop coding. Free MIT AI gateway: one endpoint, 352 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 550+ contributors

📦 什麼是 OmniRoute？

OmniRoute 是一個開源的 AI 網關，讓您透過一個 單一的 OpenAI 相容端點（例如 http://localhost:20128/v1）呼叫任意 LLM 提供商。它會自動選擇最佳後端——從付費訂閱到完全免費的層級——並在第一個提供者失敗時自動切換到另一個提供者。目標是為開發者提供一種 零設定、零成本 使用 LLM 的方式，同時追蹤使用狀況、配額與節省 token 的壓縮功能。

🔑 核心功能（如 README 所述）

功能	說明
352 個 AI 提供商 / 150+ 個免費層級	OmniRoute 維護了一個包含 444 個免費層級條目的目錄，涵蓋 34 個重複使用的金鑰池，透過一個端點對外暴露。
自動故障轉移路由	19 種路由策略（訂閱 → API 金鑰 → 低成本 → 免費）即使某個提供者當機或限流，也能保持請求持續運行。
令牌壓縮（RTK + Caveman）	在傳送提示前節省 15–95% 的令牌（平均約 89%），顯著延長免費層級的預算。
即時配額遙測	儀表板（`/dashboard/free-tiers`）顯示目前免費令牌預算（約每月 14.7 億令牌）及各提供者使用情況。
零設定啟動	安裝 `npm i -g omniroute` 後，伺服器在 `localhost:20128` 啟動；呼叫 `auto` 模型無需任何 API 金鑰即可開箱即用。
多模態（視覺/音訊/影片）	v3.8.50 版新增——路由器可將影像、音訊或影片負載轉發給支援這些功能的提供者。
私有／本地優先模式	金鑰可使用 AES-256-GCM 加密儲存，允許團隊共享網關而不將金鑰暴露於雲端。
CLI 與 MCP 集成	內建完整的命令列介面與「多客戶端代理」，可與 36 個現有 CLI/代理（如 Claude Code、Cursor、Cline）整合。
Docker 與 Electron 建構	可作為 npm 套件、Docker 鏡像和桌面應用使用，可在任何平台上輕鬆部署。
詳盡文件與社群支援	提供文件、Python/Node/PHP/cURL 快速入門範例、Discord/Telegram 社群以及公開路線圖。

🚀 工作原理（高階流程）

安裝 – npm i -g omniroute（或拉取 Docker 鏡像）。伺服器在本機啟動。
指向您的工具 – 將任何 OpenAI 相容客戶端設定為 http://localhost:20128/v1。
發送請求 – 使用特殊模型名 auto（或 oc/... 指定特定免費後端）。
路由器決策 – OmniRoute 檢查配額、健康狀態和成本，應用壓縮後，將請求轉發至選定的提供者。
回應返回 – 客戶端收到標準 OpenAI 格式的 JSON 回應，完全不知底層提供者是誰。

📊 哪些人可能受益？

希望嘗試多種 LLM 但不想管理數十個 API 金鑰的 開發者與愛好者。
希望共享單一網關同時保持使用透明且成本為 $0 的團隊。
需要穩定端點以應對提供方中斷的 工具開發者（IDE 延伸、CLI 代理等）。
希望在統一 API 下對多種模型進行基準測試的 研究人員。

📚 更多學習資源

快速入門腳本：examples/quickstart/（Python、Node、PHP、cURL）。
免費層級方法論：docs/reference/FREE_TIERS.md。
路線圖與變更日誌：ROADMAP.md 和 README 中的版本表。
社群：Discord、Telegram、WhatsApp 群組，以及公開網站 omniroute.online。

🛠️ 技術堆疊（列出內容）

Node.js 運行時（npm 套件 omniroute）。
Docker 容器用於伺服器部署。
Electron 用於桌面 UI。
RTK + Caveman 壓縮演算法。
AES-256-GCM 加密用於本地優先金鑰儲存。

📦 安裝選項（摘要）

npm：npm i -g omniroute → 在 localhost:20128 執行。
Docker：docker pull diegosouzapw/omniroute。
原始碼：克隆倉儲並使用 pnpm/npm 執行。
Electron：從 GitHub 發布頁下載。

🎉 總結

OmniRoute 是一個 真實、生產級的網關，聚合了數百個 LLM 提供商，自動優化成本與可用性，並提供即插即用的 OpenAI 相容 API。它明確定位於 AI 工具領域，為任何希望使用 LLM 而無需管理多個金鑰或支付使用費的人提供實質價值。