asdecided/WayfinderRouter

Simple CLI tool for deterministic routing of queries between local and hosted LLM models

解決的問題

Wayfinder 為開發者提供了一個統一的本地端點,用於存取多種 AI 模型。它透過基於確定性評分系統自動將請求路由到最合適的模型,消除了在本地執行環境、帳戶綁定模型和基於 API 的模型之間手動切換的需要。

運作方式

其核心是一個用 Rust 編寫的可攜式路由器,充當閘道。它透過迴圈目錄發現可用的本地模型,並使用推論探針進行驗證。當請求到達時,路由器使用離線的、無金鑰的評分路徑來決定使用哪個模型。憑證僅在交付給所選提供者時解析。它暴露了 OpenAI 相容和 Anthropic 相容的端點,允許 Codex、Claude Code 和 Aider 等工具連接到單一迴圈策略。

適用對象

它主要面向使用 Omarchy 生態系統的開發者,以及編碼代理的使用者,還有那些希望在 macOS、Linux 或透過 Docker 上以集中、注重隱私的方式管理本地和託管 AI 模型的使用者。

亮點

  • 確定性路由:使用離線和無金鑰的評分決策路徑。
  • 多提供者支援:整合本地執行環境、Apple Foundation Models、Anthropic 和 OpenAI。
  • 廣泛相容性:提供 OpenAI 和 Anthropic 相容的閘道,便於與現有 AI 用戶端整合。
  • 跨平台:可作為 Omarchy 外掛、原生 macOS 應用程式、獨立 Rust 二進位檔案和 Docker 容器使用。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案