lechmazur/writing

lechmazur/writing —— LLM 创意短篇小说基准测试

简介

• 一个公开的基准测试，评估大型语言模型（LLM）在严格指定的创意简报下撰写短篇小说的能力。
• 每个简报要求故事包含十个特定元素（角色、物体、概念、……、语调），并保持在600-800字的长度范围内。

工作原理

1. 提示词生成 – 从组合简报池中筛选出连贯且具有原创性的简报。每个种子最佳简报对所有写作模型固定。
2. 故事生成 – 每个待测LLM根据同一简报撰写故事。
3. 两两比较 – 对于每个简报，两个故事以两种可能顺序呈现给评估者LLM。评估者选出更好的故事。
4. 聚合 – 使用瑟斯通统计模型合并多个评估模型（新旧都有）的选择，并校正呈现顺序。结果是每个写作模型的相对分数，以零为中心。
5. 不确定性 – 分数通过自助法（300次重采样）给出95%置信区间和估计胜率。

包含内容

• 数据：提示词（prompts_wc/）、生成的故事（stories_wc/<model>/）、原始比较矩阵、评估者一致性表、完整的机器可读排行榜（data/writing_mistral_large4_20261007/）。
• 可视化：评分热图、评估者一致性矩阵、字数合规图、两两边际热图。
• 报告：描述每个模型叙事习惯的定性配对分析 Markdown 文件。
• 历史存档：早期版本（例如 2026 年 8 月 23 日），包含参考用的绝对 0-10 评分标准分数。

当前排行榜（节选）

排名	模型	分数	胜率%	95% CI
1	Claude Opus 5 (xhigh)	3.777	93%	3.722-3.839
2	Claude Fable 5.1 (high)	3.760	93%	3.675-3.860
…	…	…	…	…
57	Grok 4.5 (high)	-5.040	2%	-5.135-4.956

主要发现

• 分数是相对的；正分数意味着模型优于57个被评估写作家的平均水平。
• 评估者一致性各不相同（提供了相关矩阵）；高一致性并不保证评估者准确性，只保证一致性。
• 字数合规被追踪，但不影响质量分数。
• 缺失的故事或判断会被排除；置信区间仅反映实际比较过的数据。

如何使用基准

1. 克隆仓库，并使用相同的简报格式为新LLM生成故事。
2. 按照Method Summary的步骤创建配对比较，并输入到现有评估模型（或您自己的评估者）中。
3. 运行提供的聚合脚本（README 中未详述，但隐含存在）以获得瑟斯通分数和置信区间。
4. 将新分数与已发布的排行榜比较，以评估相对创意表现。

更新

• 基准测试持续维护；新的写作模型几乎每周都会添加（例如 2026 年 10 月 8 日的 Mistral Large 4 high，2026 年 9 月 26 日的 Claude Opus 5.5 high）。
• 数据和评估方法会不断演进，但核心评分流程（两两比较 → 瑟斯通模型）保持不变。

相关工作 Lech Mazur 的组织还托管了许多其他 LLM 基准测试（谈判、欺骗、翻译等），链接在 README 底部。

适用人群

• 在受控约束下比较 LLM 创造力的研究人员。
• 希望获得故事写作能力的定量、可重复度量的新 LLM 开发者。
• 任何对超越简单词元级指标的系统性、两两评估生成模型感兴趣的人。