weave-os/router

Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.

解决的问题

它消除了为每个任务手动选择特定 AI 模型的需求。它不依赖单一提供商或“凭感觉”的提示词来决定使用哪个模型,而是提供一个单一端点,根据正在执行的特定操作,自动将每个请求路由到最合适的模型。

工作原理

路由器充当主要 AI API(Anthropic、OpenAI、Gemini 和 OpenRouter 等兼容 OpenAI 的端点)的即插即用代理。它使用一个微型本机嵌入器和一个衍生自 Avengers-Pro 的集群评分器,分析每个上游 API 请求,并从用户启用的提供商中选择最佳模型。它支持流式传输、工具和视觉功能,并将提供商密钥加密保存在用户的本地机器上。

适用人群

专为使用 AI 驱动编码工具(如 Claude Code、Codex、Cursor、opencode 或 pi)的开发者,或是正在构建自己的应用程序且希望在不更改核心集成逻辑的情况下自动优化模型选择的开发者而设计。

亮点

  • 多提供商支持:通过 OpenRouter 兼容于 Anthropic、OpenAI、Gemini 和各种 OSS 模型(DeepSeek、Llama、Mistral 等)。
  • 基于操作的路由:按操作而非按对话轮次路由请求,以获得更高的精度。
  • 即插即用集成:可作为本地代理 (localhost:8080) 或通过托管版本使用。
  • 隐私优先:采用“自带密钥”(BYOK) 模式,密钥存储在本地并静态加密。
  • 内置可观测性:提供与 Weave 仪表板、Honeycomb、Datadog 和 Grafana 兼容的 OTLP 追踪。

相关

  • 项目
  • 项目
  • 项目
  • 项目