9router: 一款具备自动回退和 Token 压缩功能的智能 AI 路由工具,旨在降低成本并避免速率限制
9router: 一款具备自动回退和 Token 压缩功能的智能 AI 路由工具,旨在降低成本并避免速率限制
它解决了什么问题
9Router 是一款智能 AI 路由工具,旨在防止因速率限制、订阅配额耗尽以及高昂的 API 成本而导致的编程中断。它允许开发者将多个 AI 提供商和模型连接到其 CLI 工具中,同时自动管理 Token 使用量和成本。
工作原理
它充当您的 AI 编程工具(如 Claude Code、Cursor 或 Cline)与各种 AI 提供商之间的代理。该路由工具实现了一个三层回退系统:首先尝试使用付费订阅,然后回退到廉价的 API 模型,最后回退到免费提供商。它还包含 "RTK Token Saver",用于在工具输出(如 git diffs 或文件列表)到达 LLM 之前对其进行压缩,从而减少输入 Token 的消耗。
适用人群
使用 AI 驱动的 CLI 工具和 IDE 的开发者,希望最大化其订阅价值,避免因速率限制导致的停机,并降低整体 API 开销。
亮点
- 智能三层回退: 自动将请求从 订阅 $ ightarrow$ 廉价 $ ightarrow$ 免费 模型进行路由,以确保零停机时间。
- RTK Token Saver: 压缩工具输出(例如
git diff、ls、grep)以节省 20-40% 的输入 Token。 - 通用兼容性: 在 OpenAI、Claude、Gemini 等格式之间进行转换,以便与任何兼容 OpenAI 的 CLI 工具配合使用。
- 广泛的提供商支持: 连接超过 40 个 API 提供商和 100 多个模型,包括 OAuth 和免费提供商。
- 配额追踪: 提供实时 Token 计数和重置倒计时,以最大化订阅使用率。
- Prompt 注入: 包含 "Caveman" 和 "Ponytail" 等模式,强制 LLM 更加简洁并编写最少的代码,从而节省输出 Token。
Sources
- undefineddecolua/9router