weave-os/router
Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.
解決的問題
它消除了為每個任務手動選擇特定 AI 模型的需求。它不依賴單一供應商或「憑感覺」的提示詞來決定使用哪個模型,而是提供一個單一端點,根據正在執行的特定動作,自動將每個請求路由到最合適的模型。
運作方式
路由器充當主要 AI API(Anthropic、OpenAI、Gemini 和 OpenRouter 等相容 OpenAI 的端點)的隨插即用代理。它使用一個微型的本機嵌入器和一個衍生自 Avengers-Pro 的叢集評分器,分析每個上游 API 請求,並從使用者啟用的供應商中選擇最佳模型。它支援串流、工具和視覺功能,並將供應商金鑰加密保存在使用者的本機上。
適用對象
專為使用 AI 驅動編碼工具(如 Claude Code、Codex、Cursor、opencode 或 pi)的開發者,或是正在建構自己的應用程式且希望在不更改核心整合邏輯的情況下自動最佳化模型選擇的開發者所設計。
特色
- 多供應商支援:透過 OpenRouter 相容於 Anthropic、OpenAI、Gemini 和各種 OSS 模型(DeepSeek、Llama、Mistral 等)。
- 基於動作的路由:按動作而非按對話回合路由請求,以獲得更高的精確度。
- 隨插即用整合:可作為本地代理 (
localhost:8080) 或透過託管版本使用。 - 隱私優先:採用「自帶金鑰」(BYOK) 模式,金鑰儲存在本地並在靜態時加密。
- 內建可觀測性:提供與 Weave 儀表板、Honeycomb、Datadog 和 Grafana 相容的 OTLP 追蹤。
相關
- 專案
- 專案
- 專案
- 專案