weave-os/router

Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.

解決する課題

タスクごとに特定のAIモデルを手動で選択する必要性を排除します。単一のプロバイダーや「感覚」に基づくプロンプトに依存して使用するモデルを決める代わりに、実行中の特定のアクションに基づいて各リクエストを最適なモデルに自動的にルーティングする単一のエンドポイントを提供します。

仕組み

ルーターは、主要なAI API(Anthropic、OpenAI、Gemini、およびOpenRouterなどのOpenAI互換エンドポイント)のドロップインプロキシとして機能します。小型のオンボックスエンベッダーと、Avengers-Proから派生したクラスタースコアラーを使用して、各上流APIリクエストを分析し、ユーザーが有効にしたプロバイダーから最適なモデルを選択します。ストリーミング、ツール、ビジョンをサポートし、プロバイダーのキーはユーザーのローカルマシンで暗号化された状態で保持されます。

対象者

AI駆動のコーディングツール(Claude Code、Codex、Cursor、opencode、piなど)を使用する開発者や、コアとなる統合ロジックを変更せずにモデル選択を自動的に最適化したいと考えている、独自のアプリケーションを構築する開発者向けに設計されています。

ハイライト

  • マルチプロバイダーサポート: OpenRouterを介してAnthropic、OpenAI、Gemini、および各種OSSモデル(DeepSeek、Llama、Mistralなど)に対応。
  • アクションベースのルーティング: ターンごとではなくアクションごとにリクエストをルーティングし、高い精度を実現。
  • ドロップイン統合: ローカルプロキシ (localhost:8080) またはホストされたバージョンとして使用可能。
  • プライバシー重視: 「Bring Your Own Key」(BYOK) モデルを採用し、キーはローカルに保存され、保存時に暗号化されます。
  • 組み込みのオブザーバビリティ: Weaveダッシュボード、Honeycomb、Datadog、Grafanaと互換性のあるOTLPトレースを提供。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト