NadirRouter/NadirClaw

解决的问题

NadirClaw 通过确保提示被路由到能够提供可靠回答的最便宜模型，将 LLM API 成本降低了 40-70%。它防止了在简单任务（如格式化 JSON 或基本问题）上浪费昂贵的高级模型，这些任务实际上可以由更小、更便宜的模型处理。

工作原理

NadirClaw 作为一个本地即插即用代理，对每个请求执行三步流程：

1. 路由：一个快速的嵌入分类器（约 10ms）预测提示所需的最小可行模型。可以通过特定标记（如视觉内容或代理工具循环）进行覆盖。
2. 验证：检查廉价模型的响应是否符合质量启发式规则（例如检查拒绝、截断或 JSON 失败）。
3. 升级：如果响应未通过验证阈值，NadirClaw 会自动将请求升级到下一个更强大的模型。

适用人群

专为使用 OpenAI 兼容工具（如 Cursor、Aider 或 Continue）的独立开发者和自托管用户设计，他们希望在不牺牲质量的前提下降低 API 开销。

主要亮点

• 即插即用代理：兼容任何 OpenAI 兼容客户端，并支持 Anthropic 原生端点。
• 上下文优化：压缩膨胀的上下文（JSON、空白字符等），节省 30-70% 的输入 token。
• 本地执行：在本地运行，因此 API 密钥永远不会离开用户的设备。
• 成本追踪：内置仪表板、预算警报和节省计算器。
• 多提供商支持：支持 Gemini、OpenAI、Anthropic、Ollama，以及 LiteLLM 支持的任何提供商。