NadirRouter/NadirClaw

何を解決するか

NadirClawは、プロンプトが信頼できる回答を提供できる最も安価なモデルにルーティングされるようにすることで、LLM APIコストを40〜70％削減します。シンプルなタスク（JSONのフォーマットや基本的な質問など）に対して高価なプレミアムモデルを無駄に使わないようにします。

動作方法

NadirClawは、すべてのリクエストに対して3段階のプロセスを実行するローカルのドロップインプロキシです。

1. ルーティング：高速な埋め込み分類器（約10ms）が、プロンプトに適した最小の実行可能なモデルを予測します。視覚コンテンツやエージェントツールループなどの特定のマーカーで上書きできます。
2. 検証：安価なモデルからの応答が、拒否、切り捨て、JSONの失敗などの品質ヒューリスティクスに合致しているかチェックされます。
3. エスカレーション：応答が検証基準を満たさない場合、NadirClawは自動的に次の最適な、より強力なモデルにリクエストをエスカレートします。

対象ユーザー

OpenAI互換ツール（Cursor、Aider、Continueなど）を使用し、品質を損なうことなくAPIコストを下げたいセルフホスティング開発者や個人開発者向けに設計されています。

特徴

• ドロップインプロキシ：任意のOpenAI互換クライアントとAnthropicネイティブエンドポイントに対応。
• コンテキスト最適化：膨張したコンテキスト（JSON、空白文字など）を圧縮し、入力トークンを30〜70％削減。
• ローカル実行：ローカルで実行されるため、APIキーはユーザーのマシンから漏れない。
• コスト追跡：組み込みダッシュボード、予算アラート、節約計算機を備えている。
• マルチプロバイダ対応：Gemini、OpenAI、Anthropic、Ollama、およびLiteLLMがサポートする任意のプロバイダに対応。