ninjahawk/livenerf

Benchmark for tracking model capability after release.

해결하는 문제

AI 모델이 출시 후 조용히 성능이 저하된다는 주장은 깨끗한 day-0 기준선이 없어 검증하기 어렵습니다. livenerf는 드리프트를 감지하는 엄격하고 가능한 한 결정적인 방법을 제공합니다. 출시일에 측정을 시작하고, 평가의 모든 제어 가능한 부분을 고정하며, 사전 등록된 통계를 사용하므로 결과는 단순한 느낌이 아닙니다.

작동 방식

livenerf는 모델이 때때로 맞히는 78개 질문의 작은 패널을 실행합니다(정보를 제공하도록 보정됨). 매일 동일한 고정 프롬프트, 고정 CLI 버전, 정확한 채점기를 실행합니다. 점수는 10일 창에서 출시 주 기준선과 비교됩니다. 제어 모델은 매일 동일한 하네스를 통해 동일한 질문을 실행하여 모델이 아니라 하네스나 플랫폼이 변경되었는지 감지합니다. 출력 토큰 수는 노력 감소의 초기 신호로 추적됩니다. 모든 로그는 추가 전용이며 모든 결정은 사전 등록된 규칙을 따르므로 누구도 찻잎을 읽지 않습니다.

대상

이것은 출시 후 모델 성능 안정성에 관심이 있는 모든 사람, 연구자, 평가자, 프론티어 모델 사용자를 위한 것입니다. 또한 Claude Max 구독이 있고 최소한의 계산 오버헤드(주간 플랜의 약 3.6%)로 자체 연속 벤치마크를 실행하려는 사람을 위한 템플릿이기도 합니다.

하이라이트

  • 사전 등록 프로토콜: 데이터 수집 전에 결정 규칙이 잠기며, 공개 git 타임스탬프가 이를 증명합니다
  • 모든 것 고정: 고정 CLI, 동일한 프롬프트, 격리된 호출, LLM 판정 없음(정확히 일치하는 점수만)
  • 제어군: 별도의 오래된 모델이 플랫폼 전체 변경을 감지합니다
  • 높은 통계적 검정력: 10일 창당 약 7.5포인트 정확도 변화를 감지하고, 토큰 출력 감소는 더 일찍 감지합니다
  • 상태: 60일 중 52일 수집, 현재까지 변화 없음(2026-11-14 기준)
  • 추가 전용 로그 및 데이터셋 출처를 위한 카나리아 문자열

관련