workweave/router

Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.

何を解決するか

各タスクごとに手動でLLMを選ばなくて済むようにし、自動的に最適なモデルにリクエストをルーティングする単一のAPIエンドポイントを提供します。これにより、モデル選択に「雰囲気」に基づくアプローチを排除し、パフォーマンスデータに基づいて各特定のアクションに最適なモデルを選定するよう保証します。

動作方法

ルーターはAnthropic、OpenAI、Geminiなどの主要プロバイダーおよびOpenAI互換エンドポイント(DeepSeek、Llama、Mistralなどに対応するOpenRouterなど)に対してドロップインプロキシとして機能します。Tinyなローカル埋め込みモデルと、Avengers-Pro研究から得られたクラスタースコアリングを使用して、各アップストリームAPIリクエストをリアルタイムで評価し、最適なモデルにルーティングします。ストリーミング、ツール、ビジョン機能をこれらのプロバイダーでサポートしています。

対象ユーザー

AI駆動のコーディングツール(Claude Code、Cursor、Codexなど)を使用している開発者、または自らアプリケーションを開発しているが、モデルの更新ごとにコードベースを変更せずにパフォーマンスとコストを最適化したい開発者向けです。

特徴

  • マルチプロバイダー対応: Anthropic、OpenAI、Gemini、およびOpenRouter経由のさまざまなOSSモデルに対応。
  • アクションベースのルーティング: 会話のターンごとではなく、個々のアクションごとにルーティング。
  • ドロップインプロキシ: 既存のツールにローカルまたはホストされたエンドポイントを指すだけで簡単に統合可能。
  • セキュリティ: プロバイダーのキーはローカルに保存され、永続的に暗号化されます。
  • 観測性: Weave、Honeycomb、Datadogなどのダッシュボードと統合可能な組み込みOTLPトレースをサポート。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • Dispatch