lechmazur/writing

lechmazur/writing – LLM クリエイティブ・ショートストーリー・ベンチマーク

概要

• 厳密に指定されたクリエイティブなブリーフに基づいて、大規模言語モデル（LLM）が短編小説を書く能力を評価する公開ベンチマークです。
• 各ブリーフでは、ストーリーに10個の特定の要素（キャラクター、オブジェクト、概念、…、トーン）を組み込み、600〜800語の長さに収めることが求められます。

仕組み

1. プロンプト生成 – 組み合わせブリーフのプールから、一貫性と独創性を審査します。各シードに最適なブリーフは、すべてのライターモデルで固定されます。
2. ストーリー生成 – テスト対象の各LLMが同じブリーフに基づいてストーリーを書きます。
3. ペアワイズ比較 – 各ブリーフについて、2つのストーリーが評価者LLMに両方の順序で提示されます。評価者はより優れたストーリーを選びます。
4. 集約 – 多数の評価モデル（新旧両方）の選択を、サーストンの統計モデルを用いて組み合わせ、提示順序を補正します。結果は、ゼロを中心とした各ライターモデルの相対スコアです。
5. 不確実性 – スコアはブートストラップ法（300回の再サンプリング）により、95%信頼区間と推定勝利確率が算出されます。

含まれるもの

• データ: プロンプト（prompts_wc/）、生成されたストーリー（stories_wc/<model>/）、生の比較マトリックス、評価者一致表、完全な機械可読リーダーボード（data/writing_mistral_large4_20261007/）。
• ビジュアル: 評価ヒートマップ、評価者一致マトリックス、語数遵守チャート、ペアワイズマージンのヒートマップ。
• レポート: 各モデルの物語の癖を説明する定性的なペア分析マークダウンファイル。
• 過去のアーカイブ: 以前のリリース（例: 2026年8月23日）で、参考用の絶対0-10ルーブリックスコア。

現在のリーダーボード（抜粋）

順位	モデル	スコア	勝利%	95% CI
1	Claude Opus 5 (xhigh)	3.777	93%	3.722-3.839
2	Claude Fable 5.1 (high)	3.760	93%	3.675-3.860
…	…	…	…	…
57	Grok 4.5 (high)	-5.040	2%	-5.135-4.956

主な発見

• スコアは相対的です。正のスコアは、評価された57人のライターの平均を上回ることを意味します。
• 評価者の一致は変動します（相関マトリックス提供）。高い一致は評価者の正確性を保証するものではなく、一貫性のみを示します。
• 語数遵守は追跡されますが、品質スコアには影響しません。
• 欠落したストーリーや判断は除外されます。信頼区間は、実際に比較されたデータのみを反映します。

ベンチマークの使用方法

1. リポジトリをクローンし、同じブリーフ形式を使用して新しいLLMのストーリーを生成します。
2. 「Method Summary」の手順に従ってペア比較を作成し、既存の評価モデル（または独自の評価者）にフィードします。
3. 提供された集約スクリプト（READMEには詳細はないが、暗黙的に存在）を実行して、サーストンスコアと信頼区間を取得します。
4. 新しいスコアを公開されたリーダーボードと比較して、相対的な創造的パフォーマンスを評価します。

更新情報

• ベンチマークは積極的に維持されており、新しいライターモデルがほぼ毎週追加されます（例: 2026年10月8日のMistral Large 4 high、2026年9月26日のClaude Opus 5.5 high）。
• データと評価方法は進化しますが、コアのスコアリングパイプライン（ペアワイズ比較→サーストンモデル）は一定です。

関連作業 Lech Mazurの組織は、READMEの下部にリンクされている他の多くのLLMベンチマーク（交渉、欺瞞、翻訳など）もホストしています。

このベンチマークが役立つ人

• 制御された制約下でLLMの創造性を比較する研究者。
• 新しいLLMの開発者で、ストーリー作成能力の定量的で再現可能な尺度を求める人。
• トークンレベルの単純なメトリクスを超えて、生成モデルの体系的なペアワイズ評価に興味がある人。