workweave/router

해결하는 문제

각 작업에 대해 수동으로 LLM을 선택할 필요 없이, 자동으로 가장 적합한 모델로 요청을 라우팅하는 단일 API 엔드포인트를 제공합니다. 이로써 모델 선택에 대한 '감성 기반' 접근 방식을 제거하고, 직관이 아닌 성능 데이터에 기반해 각 특정 작업에 최적의 모델을 선택할 수 있도록 보장합니다.

작동 방식

라우터는 Anthropic, OpenAI, Gemini 등의 주요 제공업체 및 OpenAI 호환 엔드포인트(예: OpenRouter를 통한 DeepSeek, Llama, Mistral 등)에 대해 드롭인 프록시로 작동합니다. Avenger-Pro 연구에서 유도된 소형 로컬 임베딩 모델과 클러스터 스코어러를 사용하여 각 상류 API 요청을 실시간으로 평가하고 최적의 모델로 라우팅합니다. 이 프록시는 스트리밍, 도구, 비전 기능을 이러한 제공업체에서 모두 지원합니다.

대상 사용자

Claude Code, Cursor, Codex와 같은 AI 기반 코딩 도구를 사용하거나, 자체 애플리케이션을 개발하고자 하는 개발자로서, 모델 업데이트마다 코드베이스를 변경하지 않고도 성능과 비용을 최적화하고 싶은 분들께 적합합니다.

주요 특징

• 다중 제공업체 지원: Anthropic, OpenAI, Gemini 및 OpenRouter를 통해 다양한 오픈소스 모델과 호환됩니다.
• 작업 기반 라우팅: 대화 단계가 아닌 개별 작업 단위로 라우팅합니다.
• 드롭인 프록시: 기존 도구에 로컬 또는 호스팅된 엔드포인트를 지정하기만 하면 쉽게 통합 가능합니다.
• 보안: 제공업체 키는 로컬에 저장되며, 영구적으로 암호화됩니다.
• 관측성: Weave, Honeycomb, Datadog와 같은 대시보드와 통합 가능한 내장 OTLP 트레이스를 지원합니다.