asdecided/WayfinderRouter

Simple CLI tool for deterministic routing of queries between local and hosted LLM models

解決する課題

Wayfinderは、複数のAIモデルにアクセスするための統合ローカルエンドポイントを開発者に提供します。ローカルランタイム、アカウント連携モデル、APIベースのモデルを手動で切り替える必要がなくなり、決定論的なスコアリングシステムに基づいて、最も適切なモデルにリクエストを自動的にルーティングします。

仕組み

中核となるのは、ゲートウェイとして機能するRustで書かれたポータブルなRouterです。ループバックカタログを介して利用可能なローカルモデルを発見し、推論プローブで検証します。リクエストが来ると、Routerはオフラインでキーレスなスコアリングパスを使用して、どのモデルを使用するかを決定します。認証情報は、選択されたプロバイダーへの配信時にのみ解決されます。OpenAI互換およびAnthropic互換のエンドポイントを公開しており、Codex、Claude Code、Aiderなどのツールが単一のループバックポリシーに接続できます。

対象ユーザー

主にOmarchyエcosystemを使用する開発者、コーディングエージェントのユーザー、およびmacOS、Linux、またはDocker上でローカルおよびホスト型AIモデルを一元管理し、プライバシーに焦点を当てた方法を求めるユーザー向けに設計されています。

ハイライト

  • 決定論的ルーティング: オフラインでキーレスなスコアリング決定パスを使用します。
  • マルチプロバイダーサポート: ローカルランタイム、Apple Foundation Models、Anthropic、OpenAIを統合します。
  • 広範な互換性: OpenAIおよびAnthropic互換のゲートウェイを提供し、既存のAIクライアントとの簡単な統合を実現します。
  • クロスプラットフォーム: Omarchyプラグイン、ネイティブmacOSアプリ、スタンドアロンRustバイナリ、Dockerコンテナとして利用可能です。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト