LanceZPF/agent-as-a-router

해결하는 문제

ACRouter (Agent-as-a-Router)는 코딩 작업에서 성능과 비용의 트레이드오프 문제를 해결합니다. 모든 요청에 대해 단일 고성능 모델을 사용하는 대신, 특정 코딩 문제의 복잡성과 요구 사항에 따라 작업을 다양한 백엔드 모델로 지능적으로 라우팅하여 비용과 정확성을 모두 최적화합니다.

작동 방식

이 시스템은 주어진 작업에 가장 적합한 모델을 선택하는 에이전트 라우팅 메커니즘을 구현합니다. 후보 모델 목록, 먼저 시도할 "저렴한 체인"(cheap chain) 모델, 그리고 초기 시도가 실패할 경우 더 강력한 모델로 에스컬레이션하는 경로를 구성할 수 있습니다. 라우터는 검증기를 사용하여 모델의 응답이 올바른지 확인하며, 응답이 검증을 통과하지 못하면 라우터는 작업을 더 뛰어난(일반적으로 더 비싼) 모델로 에스컬레이션합니다.

대상 사용자

성능을 희생하지 않으면서 AI 보조 코딩 도구의 API 비용을 절감하려는 개발자 및 연구자. 특히 Claude Code, Codex, Opencode와 같은 CLI 도구에 모델 라우팅을 통합하려는 사용자에게 매우 유용합니다.

주요 특징

• 런타임 통합 (Runtime Integrations): Claude Code Router 및 cc-switch를 위한 통합이 준비되어 있어 게이트웨이 및 프록시 수준의 라우팅이 가능합니다.
• CodeRouterBench: 코딩 작업에서 라우팅 성능과 비용 효율성을 평가하기 위한 전용 벤치마크 데이터셋입니다.
• 구성 기반 파이프라인 (Config-Driven Pipeline): 사용자 정의 구성 파일을 사용하여 새로운 모델이나 벤치마크를 평가할 수 있는 유연한 파이프라인입니다.
• 검증기 기반 에스컬레이션 (Verifier-Based Escalation): 검증기가 통과할 때까지 모델 목록을 통해 작업을 라우팅하는 메커니즘을 통해 품질 관리를 보장합니다.