asdecided/WayfinderRouter

Simple CLI tool for deterministic routing of queries between local and hosted LLM models

해결하는 문제

Wayfinder는 개발자가 여러 AI 모델에 액세스할 수 있는 통합 로컬 엔드포인트를 제공합니다. 로컬 런타임, 계정 기반 모델, API 기반 모델 간을 수동으로 전환할 필요가 없으며, 결정론적 점수 시스템에 따라 가장 적합한 모델로 요청을 자동으로 라우팅합니다.

작동 방식

핵심에는 게이트웨이 역할을 하는 Rust로 작성된 휴대용 Router가 있습니다. 루프백 카탈로그를 통해 사용 가능한 로컬 모델을 발견하고 추론 프로브로 검증합니다. 요청이 들어오면 Router는 오프라인 및 키 없는 점수 경로를 사용하여 사용할 모델을 결정합니다. 자격 증명은 선택된 공급자에게 전달할 때만 해결됩니다. OpenAI 호환 및 Anthropic 호환 엔드포인트를 노출하여 Codex, Claude Code, Aider와 같은 도구가 단일 루프백 정책에 연결할 수 있습니다.

대상 사용자

주로 Omarchy 생태계를 사용하는 개발자, 코딩 에이전트 사용자, 그리고 macOS, Linux 또는 Docker에서 로컬 및 호스팅 AI 모델을 중앙 집중식으로 관리하고 개인 정보 보호에 중점을 둔 방법을 원하는 사용자를 위해 설계되었습니다.

주요 기능

  • 결정론적 라우팅: 오프라인 및 키 없는 점수 결정 경로를 사용합니다.
  • 다중 공급자 지원: 로컬 런타임, Apple Foundation Models, Anthropic, OpenAI를 통합합니다.
  • 광범위한 호환성: OpenAI 및 Anthropic 호환 게이트웨이를 제공하여 기존 AI 클라이언트와 쉽게 통합할 수 있습니다.
  • 크로스 플랫폼: Omarchy 플러그인, 네이티브 macOS 앱, 독립 실행형 Rust 바이너리, Docker 컨테이너로 사용 가능합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트