9router: 一款具備自動回退與 Token 壓縮功能的智慧 AI 路由,旨在降低成本並避免速率限制

9router: 一款具備自動回退與 Token 壓縮功能的智慧 AI 路由,旨在降低成本並避免速率限制

它解決了什麼問題

9Router 是一款智慧 AI 路由,旨在防止因速率限制、訂閱配額耗盡以及高昂 API 成本而導致的程式碼編寫中斷。它允許開發者將多個 AI 提供者與模型連接到其 CLI 工具,同時自動管理 Token 使用量與成本。

運作原理

它充當您的 AI 編碼工具(例如 Claude Code、Cursor 或 Cline)與各種 AI 提供者之間的代理。該路由實作了三層回退系統:首先嘗試使用付費訂閱,接著回退到廉價的 API 模型,最後回退到免費提供者。它還包含 "RTK Token Saver",可在工具輸出(例如 git diffs 或檔案列表)傳送到 LLM 之前進行壓縮,從而減少輸入 Token 的消耗。

對象是誰

使用 AI 驅動的 CLI 工具與 IDE 的開發者,希望最大化其訂閱價值、避免因速率限制導致的停機,並降低整體的 API 支出。

重點功能

  • 智慧三層回退:自動將請求從 訂閱 $ ightarrow$ 廉價 $ ightarrow$ 免費 模型進行路由,以確保零停機時間。
  • RTK Token Saver:壓縮工具輸出(例如 git difflsgrep)以節省 20-40% 的輸入 Token。
  • 通用相容性:在 OpenAI、Claude、Gemini 等格式之間進行轉換,以配合任何相容於 OpenAI 的 CLI 工具。
  • 廣泛的提供者支援:連接超過 40 個 API 提供者與 100 多個模型,包括 OAuth 與免費提供者。
  • 配額追蹤:提供即時 Token 計數與重置倒數計時,以最大化訂閱使用量。
  • Prompt Injection:包含如 "Caveman" 與 "Ponytail" 等模式,強制 LLM 更加簡潔並編寫最少量的程式碼,從而節約輸出 Token。

Sources