NadirRouter/NadirClaw

해결하는 문제

NadirClaw는 프롬프트가 신뢰할 수 있는 응답을 제공할 수 있는 가장 저렴한 모델로 라우팅되도록 하여 LLM API 비용을 40~70% 절감합니다. 단순한 작업(예: JSON 형식화, 기본 질문 등)에 고가의 프리미엄 모델을 낭비하지 않도록 합니다.

작동 방식

NadirClaw는 모든 요청에 대해 3단계 프로세스를 수행하는 로컬 드롭인 프록시입니다.

1. 라우팅: 빠른 임베딩 분류기(~10ms)가 프롬프트에 가장 적합한 최소 크기의 실행 가능한 모델을 예측합니다. 시각 콘텐츠나 에이전트 도구 루프와 같은 특정 마커로 오버라이드할 수 있습니다.
2. 검증: 저렴한 모델의 응답이 품질 히ュ리스틱(거부, 자르기, JSON 실패 등)을 충족하는지 확인합니다.
3. 에스컬레이션: 응답이 검증 기준을 충족하지 못하면 NadirClaw는 자동으로 다음으로 적합한 더 강력한 모델로 요청을 에스컬레이션합니다.

대상 사용자

OpenAI 호환 도구(Cursor, Aider, Continue 등)를 사용하고, 품질을 희생하지 않고 API 지출을 줄이고 싶은 개별 개발자 및 자체 호스팅 사용자에게 적합합니다.

주요 기능

• 드롭인 프록시: 어떤 OpenAI 호환 클라이언트와 Anthropic 네이티브 엔드포인트 모두 호환됩니다.
• 컨텍스트 최적화: 부풀어 오른 컨텍스트(JSON, 공백 등)를 압축하여 입력 토큰을 30~70% 절감합니다.
• 로컬 실행: 로컬에서 실행되어 API 키가 사용자 기계 외부로 유출되지 않습니다.
• 비용 추적: 내장 대시보드, 예산 알림, 절약 계산기가 포함되어 있습니다.
• 다중 프로바이더 지원: Gemini, OpenAI, Anthropic, Ollama, 그리고 LiteLLM가 지원하는 모든 프로바이더와 호환됩니다.