higress-group/HiRoute

해결하는 문제

Codex나 Claude Code와 같은 AI 코딩 에이전트는 모든 메시지에 동일한 강력한 모델을 사용할 경우 비용이 많이 들 수 있습니다. HiRoute는 로컬 라우터 역할을 하여 각 요청을 검사함으로써 이 문제를 해결합니다. 코드 읽기나 사실 수집과 같은 일상적인 작업은 경제적인 모델로 전송되고, 설계 결정이나 까다로운 수정 작업은 프리미엄 구독이나 기본 모델이 처리합니다. 이를 통해 어려운 부분의 품질을 저하시키지 않으면서 고정 구독료와 API 예산을 효율적으로 사용할 수 있습니다.

작동 방식

HiRoute는 데스크톱 앱(macOS) 또는 헤드리스 CLI 및 데몬(Linux)으로 로컬에서 실행됩니다. 에이전트 클라이언트(예: Codex, Claude Code)를 연결하고 라우팅 계획을 정의합니다. 계획에는 고정 모델, 난이도 라우팅, 사용자 지정 브랜치, 무료 우선 모드 중 하나가 포함됩니다. 난이도 라우팅의 경우, HiRoute는 별도의 "결정 모델"을 사용하여 각 새 사용자 메시지를 판단하고 단순한지 복잡한지 추정합니다. 단순할 확률이 임계값을 충족하고 이전 단계의 낮은 능력 점수로 인해 작업이 차단되지 않으면 경제적인 일반 모델을 선택하며, 그렇지 않으면 기본 모델을 사용합니다. 한 턴 내에서 도구 호출은 동일한 결정을 유지하므로 컨텍스트를 캐시할 수 있습니다. 새 메시지가 오거나 컨텍스트가 재구축될 때 HiRoute는 다시 판단합니다. 이 시스템은 사용자 지정 작업 브랜치(예: 초안 작성 대 검토)를 지원하며 Worker 계획을 통해 독립적인 작업을 다른 에이전트에 위임할 수 있습니다. 모든 세션은 실제로 실행된 모델, 사용량, 비용을 기록하며 각 실행 단계와 연결된 성능 점수를 검토할 수 있습니다.

대상 사용자

HiRoute는 예산 내에서 AI 코딩 에이전트를 사용하는 개발자 및 팀, 특히 Codex, Claude Code, Qoder, Pi, DeepSeek Harness 구독자를 위한 도구입니다. 또한 어떤 모델이 어떤 유형의 작업을 처리할지 더 세밀하게 제어하고, 투명한 비용 추적 및 사용자 지정 라우팅 규칙 정의를 원하는 모든 사용자에게 적합합니다. macOS 15+(Apple silicon 또는 Intel) 및 Linux(x86_64 또는 ARM64) 사용자를 대상으로 하며 로컬 서비스 실행에 익숙한 분들에게 권장됩니다.

주요 특징

• 난이도 기반 라우팅 – 각 메시지를 판단하여 단순한 작업은 저렴한 모델로, 복잡한 작업은 최상의 모델로 라우팅합니다.
• 경계가 있는 장애 조치(Failover) – 모델 후보가 실패하면 HiRoute는 동일한 범주 내에서 순차적인 대체 모델을 시도하며, 모든 후보가 소진되면 명시적으로 실패 처리합니다.
• 사용자 지정 확장 – API를 통해 자체 결정 서비스를 연결하거나 내장된 결정 모델(Bailian, OpenRouter Jev, TypeSafe)을 사용합니다.
• 투명한 감독 – 세션별 모델, 사용량, 비용 및 능력 점수를 확인하여 라우팅 결정을 검증합니다.
• 로컬 실행 – 데스크톱 앱 또는 헤드리스 CLI/데몬으로 실행되며 클라우드 의존성이 없습니다.
• 오픈 소스 – Apache-2.0 라이선스이며 Rust 워크스페이스와 Tauri 데스크톱 클라이언트로 구성되어 있습니다.