ellipticmarketing/modelrelay

解決的問題

modelrelay 是一個本地路由器，可免費存取多種 AI 編碼模型。它透過基準測試並自動將請求路由至多個提供者中可用的最佳免費模型，消除為多個 API 訂閱付費的需要。

工作原理

它作為 OpenAI 兼容代理運作。當向 auto-fastest 端點或特定模型群組發送請求時，路由器會根據模型的智慧百分位與最近平均延遲的綜合評估，計算服務品質（QoS）分數。它可根據標籤（例如 coding、reasoning）或最小上下文視窗要求（min_ctx）進行請求路由。

適用對象

希望無需管理多個 API 金鑰或手動切換提供者，即可免費存取高效率 LLM 的開發者與 AI 編碼工具使用者。

主要亮點

• OpenAI 兼容性： 可作為現有工具與腳本的即插即用替代品。
• 自動路由： 基於即時基準測試，自動選擇最快且最強大的模型。
• 廣泛支援： 支援來自 NVIDIA、Groq、Google 等 12+ 提供者的 80+ 模型。
• 靈活路由： 支援按能力標籤（如 tag:coding）與最小上下文視窗過濾器進行路由。
• 本地管理： 內建 Web UI，可用於管理提供者、固定模型與設定 QoS 參數。