9router: 一款具備自動回退與 Token 壓縮功能的智慧 AI 路由,旨在降低成本並避免速率限制
9router: 一款具備自動回退與 Token 壓縮功能的智慧 AI 路由,旨在降低成本並避免速率限制
它解決了什麼問題
9Router 是一款智慧 AI 路由,旨在防止因速率限制、訂閱配額耗盡以及高昂 API 成本而導致的程式碼編寫中斷。它允許開發者將多個 AI 提供者與模型連接到其 CLI 工具,同時自動管理 Token 使用量與成本。
運作原理
它充當您的 AI 編碼工具(例如 Claude Code、Cursor 或 Cline)與各種 AI 提供者之間的代理。該路由實作了三層回退系統:首先嘗試使用付費訂閱,接著回退到廉價的 API 模型,最後回退到免費提供者。它還包含 "RTK Token Saver",可在工具輸出(例如 git diffs 或檔案列表)傳送到 LLM 之前進行壓縮,從而減少輸入 Token 的消耗。
對象是誰
使用 AI 驅動的 CLI 工具與 IDE 的開發者,希望最大化其訂閱價值、避免因速率限制導致的停機,並降低整體的 API 支出。
重點功能
- 智慧三層回退:自動將請求從 訂閱 $ ightarrow$ 廉價 $ ightarrow$ 免費 模型進行路由,以確保零停機時間。
- RTK Token Saver:壓縮工具輸出(例如
git diff、ls、grep)以節省 20-40% 的輸入 Token。 - 通用相容性:在 OpenAI、Claude、Gemini 等格式之間進行轉換,以配合任何相容於 OpenAI 的 CLI 工具。
- 廣泛的提供者支援:連接超過 40 個 API 提供者與 100 多個模型,包括 OAuth 與免費提供者。
- 配額追蹤:提供即時 Token 計數與重置倒數計時,以最大化訂閱使用量。
- Prompt Injection:包含如 "Caveman" 與 "Ponytail" 等模式,強制 LLM 更加簡潔並編寫最少量的程式碼,從而節約輸出 Token。
Sources
- undefineddecolua/9router