diegosouzapw/OmniRoute

它解決了什麼

OmniRoute 是一個 AI 閘道，可防止因 API 速率限制、配額到期和高昂成本導致的編程中斷。它將數百個 AI 提供者和免費層級匯總到單一端點，使用戶能夠在不更改工具配置的情況下自動切換模型和提供者。

它是如何運作的

OmniRoute 作為一個本地代理（運行於 localhost:20128）將來自 OpenAI 相容工具（如 Cursor、Claude Code 或 Cline）的請求轉發到龐大的 290 個提供者網絡。它使用 "階層瀑布" 系統將請求路由到四個級別：訂閱、API Key、廉價、免費。如果較高級別的提供者失敗或達到限制，它會靜默回退到下一個可用選項。

它適合誰

它專為使用多個編碼代理和大型語言模型的開發者和 AI 進階使用者設計，旨在最大化免費層級的利用、避免意外費用，並在開發過程中保持零停機時間。

亮點

• 大規模提供者網路：可存取 290 個提供者，包括超過 90 個免費層級和 516 個模型。
• 自動回退：19 種不同的路由策略（例如：成本優化、延遲優先或品質優先），以確保請求始終獲得回應。
• Token 壓縮：使用 RTK 和 Caveman 堆疊壓縮，將 token 使用量平均減少 89%（範圍從 15% 到 95%）。
• 零配置啟動：安裝後即可使用，內建免費金鑰提供者。
• 本地優先隱私：具備 AES-256-GCM 加密金鑰和本地優先架構。