NadirRouter/NadirClaw

해결하는 문제

NadirClaw는 신뢰할 수 있는 답변을 제공할 수 있는 가장 저렴한 모델로 프롬프트를 라우팅함으로써 AI API 비용을 절감합니다. 단순한 작업(예: JSON 형식화, 기본 질문 등)에 고가의 프리미엄 모델을 낭비하는 것을 방지하면서, 필요할 때만 더 강력한 모델로 자동 승격하여 고품질 응답을 보장합니다.

작동 방식

NadirClaw는 모든 요청에 대해 3단계 프로세스를 수행하는 드롭인 프록시로 작동합니다:

1. 라우팅: 빠른 임베딩 분류기(~10ms)가 가장 작은 실행 가능한 모델을 예측합니다. 시각 콘텐츠, 긴 컨텍스트, 또는 에이전트 도구 루프와 같은 특정 트리거에 따라 이 예측을 오버라이드할 수 있습니다.
2. 검증: 저렴한 모델의 응답이 품질 히ュ리스틱(거부, 자르기, JSON 실패 등)을 충족하는지 확인합니다.
3. 승격: 응답이 검증 기준을 충족하지 못하면 시스템은 자동으로 체인 내 다음 최적 모델로 승격합니다.

대상 사용자

다수의 LLM 제공업체를 사용하면서도 품질을 희생하지 않고 운영 비용을 낮추고 싶은 개발자 및 팀을 위한 것입니다. Cursor, Aider, Windsurf과 같은 OpenAI 호환 클라이언트를 사용하는 사용자에게 특히 유용합니다.

주요 특징

• 비용 절감: 각 요청에 대해 프리미엄 기준 대비 실제 절감된 비용을 측정하고 보고합니다.
• 드롭인 호환성: 로컬 프록시를 통해 어떤 OpenAI 호환 도구와도 작동합니다.
• 컨텍스트 최적화: 부풀어 오른 컨텍스트(JSON, 기록, 공백 등)를 압축하여 입력 토큰을 30~70% 절감합니다.
• 유연한 라우팅: N단계 YAML 구성, 신뢰성 향상을 위한 백업 체인, 추론 또는 비전 작업을 위한 전용 라우팅을 지원합니다.
• 프라이버시 우선: 로컬에서 실행되어 API 키가 사용자 기기 외부로 유출되지 않습니다.
• 포괄적인 모니터링: 실시간 대시보드, Prometheus 메트릭, 상세한 비용 보고서를 포함합니다.