BullshitBench

BullshitBench 是一个开源基准测试，用于评估大型语言模型（LLM）如何察觉并拒绝无意义或无效的提示。它衡量三种模型行为等级：

• 明确拒绝 – 模型直接拒绝有缺陷的前提。
• 部分质疑 – 模型指出问题但仍继续回应。
• 接受无意义 – 模型将前提视为合理。

该基准测试包含两套题组（V1 = 55 题，V2 = 100 题），涵盖软件、金融、法律、医学和物理等领域的 13 种“无意义技巧”。数十个商业模型（例如 Gemini 4 Argon、Claude Haiku 5.5、Mistral Large 4）的结果在交互式仪表板中可视化呈现。

---

快速事实

项目	详细信息
范围	检测并指出 LLM 输出中的无意义内容
数据	JSON 问题集、清单文件、CSV 排行榜；V1 = 55 题，V2 = 100 题
评分	三评审小组（Claude Sonnet 4.6、GPT-5.2、Gemini 3.1 Pro）。平均决定等级。
如何查看	无需构建步骤；运行小型 Python HTTP 服务器并打开本地仪表板。
如何贡献	通过提供的 config.json/config.v2.json 和技术指南添加问题或模型评估。
许可证	MIT（品牌资产有单独声明）
最后更新	2026 年 10 月 13 日

---

运作方式

1. 问题集 – 精心设计的提示，包含刻意错误的前提或逻辑陷阱。
2. 模型运行 – 通过付费供应商 API 收集响应（存储库包含相关脚本）。
3. 类人评审 – 三个 LLM 评审对每个响应评分；其平均决定类别。
4. 指标 – 明确拒绝率 = 明确回答 / (尝试次数 – 候选拒绝)。
5. 仪表板 – 按实验室、推理等级、领域筛选；按拒绝排序；导出 PNG/CSV。

---

开始使用（在本地查看结果）

# 从存储库根目录
python3 -m http.server 8795 --bind 127.0.0.1

然后在浏览器中打开 http://127.0.0.1:8795/。查看器指南（viewer/next/README.md）说明 UI。

运行您自己的评估

• 编辑 config.json（V1）或 config.v2.json（V2）以指定要测试的模型和推理变体。
• 按照 docs/TECHNICAL.md 中的逐步说明进行数据收集、API 调用和评分。
• 存储库已包含固定确切问题快照的清单文件，使结果可重现。

---

数据资产

• 清单 – JSON 文件，列出每个问题、其元数据，以及响应/评分文件的位置。
• 排行榜 – 总结每个模型变体分数的 CSV。
• 完整响应 – 存储在有限 JSONL 文件中；辅助读取器（技术指南中描述）可重新组装。

所有数据均以 MIT 许可证发布。

---

谁可能使用此工具？

• LLM 开发者 想要快速检查其模型不会对无意义内容自信地产生幻觉。
• 研究人员 研究模型对齐、拒绝行为或提示稳健性。
• 产品团队 评估商业 API 用于安全关键应用。

---

链接

• 实时仪表板：https://petergpt.github.io/bullshit-benchmark/
• 技术指南：docs/TECHNICAL.md
• 变更日志：CHANGELOG.md
• 星历：README 中嵌入的视觉图表。