ninjahawk/livenerf
Benchmark for tracking model capability after release.
它解决的问题
关于 AI 模型在发布后悄悄变差的说法很难验证,因为没有人有干净的 day-0 基线。livenerf 提供了一种严谨、尽可能确定的方法来检测漂移。它在发布当天开始测量,冻结评估中所有可控部分,并使用预注册的统计,因此结果不仅仅是主观感受。
工作原理
livenerf 运行一组 78 个问题的小面板,模型有时能答对(经过校准以确保信息量)。每天它执行相同的冻结提示、固定的 CLI 版本和精确的评分器。得分在 10 天窗口内与发布周基线进行比较。一个控制模型每天通过相同的测试框架运行相同的问题,以检测是框架或平台发生了变化,而不是模型本身。输出 token 数量被跟踪作为努力减少的早期信号。所有日志都是仅追加的,每个决策都遵循预注册规则,因此没有人需要解读玄机。
适用对象
这适用于任何关心模型发布后性能稳定性的人,包括研究人员、评估者和前沿模型用户。它也是任何拥有 Claude Max 订阅、希望以最小计算开销(约占每周计划的 3.6%)运行自己的持续基准测试的人的模板。
亮点
- 预注册协议:决策规则在数据收集前锁定,公共 git 时间戳证明这一点
- 冻结一切:固定的 CLI、相同的提示、封闭调用、无 LLM 评判(仅精确匹配评分)
- 控制组:一个单独的较旧模型捕获平台范围的更改
- 高统计功效:每 10 天窗口检测约 7.5 点的准确率变化,以及更早的 token 输出下降
- 状态:60 天中已收集 52 天,目前未检测到变化(截至 2026-11-14)
- 仅追加日志和 canary 字符串用于数据集溯源
相关
- Dispatch
- 项目
- Dispatch
- 项目
- Dispatch