BullshitBench

BullshitBench は、大規模言語モデル（LLM）が無意味または無効なプロンプトに気づき、拒否する能力を評価するオープンソースのベンチマークです。モデルの行動を 3 つのグレードで測定します。

• 明確な拒否 – モデルが欠陥のある前提を完全に拒否します。
• 部分的な異議 – モデルが問題を指摘するが、それでも応答します。
• 無意味の受け入れ – モデルが前提を正当なものとして扱います。

このベンチマークには、ソフトウェア、金融、法律、医学、物理学などの分野にわたる 13 の「ナンセンステクニック」をカバーする 2 つのスイート（V1 = 55 問、V2 = 100 問）が含まれています。数十の商用モデル（例：Gemini 4 Argon、Claude Haiku 5.5、Mistral Large 4）の結果は、インタラクティブなダッシュボードで視覚化されます。

---

クイックファクト

項目	詳細
範囲	LLM 出力における無意味な内容の検出と指摘
データ	JSON 問題セット、マニフェストファイル、CSV リーダーボード; V1 = 55 問、V2 = 100 問
採点	3 人の審査員パネル（Claude Sonnet 4.6、GPT-5.2、Gemini 3.1 Pro）。平均でグレードが決まります。
表示方法	ビルドステップ不要。小さな Python HTTP サーバーを実行し、ローカルダッシュボードを開きます。
貢献方法	提供された config.json/config.v2.json とテクニカルガイドを使用して、新しい質問やモデル評価を追加します。
ライセンス	MIT（ブランド資産には別途通知あり）
最終更新	2026 年 10 月 13 日

---

仕組み

1. 問題セット – 意図的に誤った前提や論理的な罠を含む厳選されたプロンプト。
2. モデル実行 – 有料プロバイダー API を介して応答を収集（リポジトリにはスクリプトが含まれています）。
3. 人間らしい審査員 – 3 つの LLM 審査員が各応答を採点し、その平均でカテゴリが決まります。
4. メトリクス – 明確な拒否率 = 明確な回答 / (試行回数 – 候補拒否)。
5. ダッシュボード – ラボ、推論レベル、ドメインでフィルタリング; 拒否で並べ替え; PNG/CSV エクスポート。

---

はじめに（ローカルで結果を表示）

# リポジトリのルートから
python3 -m http.server 8795 --bind 127.0.0.1

次に、ブラウザで http://127.0.0.1:8795/ を開きます。ビューアーガイド（viewer/next/README.md）が UI を説明します。

独自の評価を実行する

• config.json（V1）または config.v2.json（V2）を編集して、テストするモデルと推論バリアントを指定します。
• docs/TECHNICAL.md のステップバイステップの指示に従って、データ収集、API 呼び出し、採点を行います。
• リポジトリには、正確な質問スナップショットを固定するマニフェストファイルがすでに含まれており、結果を再現可能にします。

---

データ資産

• マニフェスト – 各質問、そのメタデータ、および応答/採点ファイルの場所をリストする JSON ファイル。
• リーダーボード – 各モデルバリアントのスコアを要約した CSV。
• 完全な応答 – 境界付き JSONL ファイルに保存; ヘルパーリーダー（テクニカルガイドで説明）が再組み立てできます。

すべてのデータは MIT ライセンスで公開されています。

---

誰が使うべきか？

• LLM 開発者 – モデルがナンセンスに対して自信を持って幻覚を起こさないことを迅速に確認したい場合。
• 研究者 – モデルのアライメント、拒否行動、プロンプトの堅牢性を研究する場合。
• 製品チーム – 安全重視のアプリケーション向けに商用 API を評価する場合。

---

リンク

• ライブダッシュボード: https://petergpt.github.io/bullshit-benchmark/
• テクニカルガイド: docs/TECHNICAL.md
• 変更ログ: CHANGELOG.md
• スター履歴: README に埋め込まれた視覚チャート。