NadirRouter/NadirClaw

解決的問題

NadirClaw 透過確保提示被路由至能提供可靠回應的最便宜模型，將 LLM API 成本降低 40-70%。它防止在簡單任務（如格式化 JSON 或基本問題）上浪費昂貴的高階模型，這些任務其實可由更小、更便宜的模型處理。

工作原理

NadirClaw 作為一個本地即插即用代理，對每個請求執行三步流程：

1. 路由：一個快速的嵌入分類器（約 10ms）預測提示所需的最小可行模型。可透過特定標記（如視覺內容或代理工具迴圈）覆蓋。
2. 驗證：檢查廉價模型的回應是否符合品質啟發式規則（例如檢查拒絕、截斷或 JSON 失敗）。
3. 升級：如果回應未通過驗證閾值，NadirClaw 會自動將請求升級到下一個更強大的模型。

適用對象

專為使用 OpenAI 相容工具（如 Cursor、Aider 或 Continue）的獨立開發者和自托管使用者設計，他們希望在不犧牲品質的前提下降低 API 開銷。

主要亮點

• 即插即用代理：相容任何 OpenAI 相容客戶端，並支援 Anthropic 原生端點。
• 上下文優化：壓縮膨脹的上下文（JSON、空白字元等），節省 30-70% 的輸入 token。
• 本地執行：在本地運行，因此 API 金鑰永遠不會離開使用者的裝置。
• 成本追蹤：內建儀表板、預算警示與節省計算機。
• 多提供者支援：支援 Gemini、OpenAI、Anthropic、Ollama，以及 LiteLLM 支援的任何提供者。