workweave/router

Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.

解决的问题

无需为每个任务手动选择 LLM,而是提供一个单一的 API 端点,自动将请求路由到最合适的模型。这消除了基于‘直觉’的模型选择方式,确保每个具体操作都基于性能数据而非直觉,选择最佳模型。

工作原理

该路由器作为主要提供商(Anthropic、OpenAI、Gemini)以及 OpenAI 兼容端点(如 OpenRouter 支持的 DeepSeek、Llama 和 Mistral)的即插即用代理。它使用一个小型本地嵌入模型和基于 Avengers-Pro 研究的聚类评分器,实时评估每个上游 API 请求,并将请求路由到最优模型。支持这些提供商的流式传输、工具和视觉功能。

适用人群

专为使用 AI 驱动的编码工具(如 Claude Code、Cursor 或 Codex)的开发者,或正在构建自己应用的开发者设计,他们希望在不修改代码库的情况下优化模型性能和成本,即使每次模型更新也不必更改代码。

主要亮点

  • 多提供商支持:兼容 Anthropic、OpenAI、Gemini 以及通过 OpenRouter 使用的各种开源模型。
  • 基于动作的路由:按单个动作而非每轮对话进行路由。
  • 即插即用代理:只需将现有工具指向本地或托管的端点,即可轻松集成。
  • 安全性:提供商密钥本地存储并静态加密。
  • 可观测性:内置 OTLP 跟踪,可与 Weave、Honeycomb 或 Datadog 等仪表板集成。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • Dispatch