ninjahawk/livenerf
Benchmark for tracking model capability after release.
解決する問題
AI モデルがリリース後に静かに劣化するという主張は、クリーンな day-0 ベースラインがないため検証が困難です。livenerf は、ドリフトを検出するための厳密で可能な限り決定的な方法を提供します。リリース当日に測定を開始し、評価の制御可能な部分をすべて固定し、事前登録された統計を使用するため、結果は単なる雰囲気ではありません。
仕組み
livenerf は、モデルが時々正解する 78 問の小さなパネルを実行します(情報量が多くなるように調整されています)。毎日、同じ固定プロンプト、固定 CLI バージョン、正確な採点器を実行します。スコアは 10 日間のウィンドウでリリース週のベースラインと比較されます。コントロールモデルは、毎日同じハーネスで同じ質問を実行し、モデルではなくハーネスやプラットフォームが変更されたかどうかを検出します。出力トークン数は、努力の減少の初期シグナルとして追跡されます。すべてのログは追記のみで、すべての決定は事前登録されたルールに従うため、誰も茶葉を読む必要はありません。
対象者
これは、リリース後のモデル性能の安定性に関心のあるすべての人、研究者、評価者、フロンティアモデルのユーザーを対象としています。また、Claude Max サブスクリプションを持ち、最小限の計算オーバーヘッド(週次プランの約 3.6%)で独自の継続的ベンチマークを実行したい人向けのテンプレートでもあります。
ハイライト
- 事前登録プロトコル:データ収集前に決定ルールがロックされ、公開 git タイムスタンプがそれを証明します
- すべてを固定:固定 CLI、同一プロンプト、隔離された呼び出し、LLM ジャッジなし(完全一致スコアリングのみ)
- コントロールアーム:別の古いモデルがプラットフォーム全体の変更を検出します
- 高い統計的検出力:10 日間のウィンドウあたり約 7.5 ポイントの精度変化を検出し、トークン出力の低下はより早期に検出します
- ステータス:60 日中 52 日を収集、現在まで変化は検出されていません(2026-11-14 時点)
- 追記のみのログとデータセットの来歴のためのカナリア文字列
関連
- Dispatch
- プロジェクト
- Dispatch
- プロジェクト
- Dispatch