weave-os/router
Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.
해결하는 문제
각 작업에 대해 특정 AI 모델을 수동으로 선택할 필요를 없앱니다. 단일 제공자나 '감'에 의존하여 사용할 모델을 결정하는 대신, 수행 중인 특정 작업을 기반으로 각 요청을 가장 적절한 모델로 자동 라우팅하는 단일 엔드포인트를 제공합니다.
작동 방식
라우터는 주요 AI API(Anthropic, OpenAI, Gemini 및 OpenRouter와 같은 OpenAI 호환 엔드포인트)에 대한 드롭인 프록시 역할을 합니다. 작은 온박스 임베더와 Avengers-Pro에서 파생된 클러스터 스코어러를 사용하여 각 업스트림 API 요청을 분석하고 사용자가 활성화한 제공자 중에서 최적의 모델을 선택합니다. 스트리밍, 도구 및 비전을 지원하며, 제공자 키는 사용자의 로컬 머신에서 암호화하여 안전하게 보관합니다.
대상 사용자
AI 기반 코딩 도구(Claude Code, Codex, Cursor, opencode 또는 pi 등)를 사용하거나 자체 애플리케이션을 구축 중이며 핵심 통합 로직을 변경하지 않고 모델 선택을 자동으로 최적화하려는 개발자를 위해 설계되었습니다.
주요 특징
- 다중 제공자 지원: OpenRouter를 통해 Anthropic, OpenAI, Gemini 및 다양한 OSS 모델(DeepSeek, Llama, Mistral 등)과 호환됩니다.
- 액션 기반 라우팅: 정확도를 높이기 위해 턴별이 아닌 액션별로 요청을 라우팅합니다.
- 드롭인 통합: 로컬 프록시(
localhost:8080) 또는 호스팅된 버전을 통해 사용할 수 있습니다. - 프라이버시 우선: 키를 로컬에 저장하고 저장 시 암호화하는 'Bring Your Own Key'(BYOK) 모델을 사용합니다.
- 내장된 관측 가능성: Weave 대시보드, Honeycomb, Datadog 및 Grafana와 호환되는 OTLP 추적을 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트