lechmazur/writing

lechmazur/writing – LLM 창의적 단편소설 벤치마크

개요

• 엄격하게 지정된 창의적 브리프에 따라 대규모 언어 모델(LLM)이 단편소설을 쓰는 능력을 평가하는 공개 벤치마크입니다.
• 각 브리프는 이야기에 10가지 특정 요소(캐릭터, 사물, 개념, …, 톤)를 포함하고 600~800단어 길이 내에 머물도록 요구합니다.

작동 방식

1. 프롬프트 생성 – 조합 브리프 풀에서 일관성과 독창성을 심사합니다. 각 시드에 가장 강력한 브리프는 모든 작가 모델에 대해 고정됩니다.
2. 스토리 생성 – 테스트 대상 각 LLM이 동일한 브리프에 따라 스토리를 작성합니다.
3. 쌍별 비교 – 각 브리프에 대해 두 스토리가 평가자 LLM에 양쪽 순서로 제시됩니다. 평가자가 더 나은 스토리를 선택합니다.
4. 집계 – 여러 평가 모델(구형 및 신형 모두)의 선택을 써스턴 통계 모델로 결합하고 제시 순서를 보정합니다. 결과는 0을 중심으로 한 각 작가 모델의 상대 점수입니다.
5. 불확실성 – 점수는 부트스트래핑(300회 재샘플링)을 통해 95% 신뢰 구간과 추정 승률을 제공합니다.

포함 내용

• 데이터: 프롬프트(prompts_wc/), 생성된 스토리(stories_wc/<model>/), 원시 비교 행렬, 평가자 일치 테이블, 전체 기계 판독 가능 리더보드(data/writing_mistral_large4_20261007/).
• 시각 자료: 평가 히트맵, 평가자 일치 행렬, 단어 수 준수 차트, 쌍별 마진 히트맵.
• 보고서: 각 모델의 서술 습관을 설명하는 정성적 쌍 분석 마크다운 파일.
• 과거 아카이브: 참고용 절대 0-10 루브릭 점수가 포함된 이전 릴리스(예: 2026년 8월 23일).

현재 리더보드(발췌)

순위	모델	점수	승률%	95% CI
1	Claude Opus 5 (xhigh)	3.777	93%	3.722-3.839
2	Claude Fable 5.1 (high)	3.760	93%	3.675-3.860
…	…	…	…	…
57	Grok 4.5 (high)	-5.040	2%	-5.135-4.956

주요 발견

• 점수는 상대적입니다. 양수 점수는 모델이 평가된 57개 작가의 평균보다 우수함을 의미합니다.
• 평가자 일치는 다양합니다(상관 행렬 제공). 높은 일치는 평가자의 정확성을 보장하지 않으며 일관성만 보장합니다.
• 단어 수 준수는 추적되지만 품질 점수에는 영향을 미치지 않습니다.
• 누락된 스토리나 판단은 제외됩니다. 신뢰 구간은 실제로 비교된 데이터만 반영합니다.

벤치마크 사용 방법

1. 저장소를 클론하고 동일한 브리프 형식을 사용하여 새 LLM에 대한 스토리를 생성합니다.
2. Method Summary 단계를 따라 쌍별 비교를 만들고 기존 평가 모델(또는 자체 평가자)에 제공합니다.
3. 제공된 집계 스크립트(README에 자세히 설명되지 않았지만 암시됨)를 실행하여 써스턴 점수와 신뢰 구간을 얻습니다.
4. 새 점수를 게시된 리더보드와 비교하여 상대적 창의적 성능을 평가합니다.

업데이트

• 벤치마크는 적극적으로 유지되며 새로운 작가 모델이 거의 매주 추가됩니다(예: 2026년 10월 8일 Mistral Large 4 high, 2026년 9월 26일 Claude Opus 5.5 high).
• 데이터와 평가 방법은 진화하지만 핵심 점수 파이프라인(쌍별 비교 → 써스턴 모델)은 일정합니다.

관련 작업 Lech Mazur의 조직은 README 하단에 링크된 다른 많은 LLM 벤치마크(협상, 기만, 번역 등)도 호스팅합니다.

이 벤치마크가 유용할 사람들

• 통제된 제약 하에 LLM 창의성을 비교하는 연구자.
• 스토리 작성 능력의 정량적이고 재현 가능한 측정을 원하는 새 LLM 개발자.
• 단순한 토큰 수준 메트릭을 넘어 생성 모델의 체계적인 쌍별 평가에 관심이 있는 모든 사람.