LLM AssBench – 一个带有调侃意味的基准测试，引发了有趣的 HN 讨论

TL;DR

LLM AssBench 是一个趣味性基准测试网站，展示由 AI 生成的「臀部」（解剖学术语）图像，已成为 Hacker News 上的梗，引发了关于鹈鹕骑自行车、NSFW 标签以及荒谬基准测试未来的玩笑讨论。

什么是 LLM AssBench？

AssBench 是一个极简网页（https://www.assbench.com/），仅宣传一个「Prompt」链接。该网站看似是一个基准测试，要求大型语言模型（LLMs）生成臀部图像。页面除了一个返回 404 错误的提示文件链接外，没有任何文档、性能表格或技术细节。

注意： 网站上唯一的实体内容是 PROMPT.md 的死链，返回 404 错误。

为何 HN 社区以幽默回应

Hacker News 的讨论帖迅速充满了调侃评论。幽默源于：

  • 名称 – 「AssBench」读起来像是粗俗的文字游戏，引发关于「assmaxxing」和「banana bench」的玩笑。
  • 内容 – 用户推测该基准测试生成 NSFW 图像，导致有人请求添加 NSFW 标签。
  • 荒谬性 – 评论者将其与其它 whimsical 基准测试（如「鹈鹕骑自行车」）相比较，并想象未来可能扩展为「HumanBench」。

代表性评论

"终于，我厌倦了看到鹈鹕骑自行车。" – drywater2

"伙计们，我们已经到达顶峰了。" – sethkim

"最重要的基准测试。" – fragmede（原帖作者）

"接下来，HumanBench！画一个完整、完美的真人。" – devinprater

"我们需要下一个 Banana Bench。" – Rapzid

这些评论体现了社区的幽默与怀疑并存的态度。

技术推测（基于有限信息）

由于网站未提供性能指标，我们只能推测可能的评估方法：

  1. 提示到图像生成 – 该基准测试可能将文本提示输入文本到图像模型，并评估生成臀部图像的视觉保真度。
  2. 主观评分 – 鉴于其喜剧风格，人类评分者可能会根据真实感、风格或新颖性对图像进行评分。
  3. 模型对比 – 有评论提到「Luna」和「Opus 5.5」表现良好，暗示已测试多个模型，尽管是非正式的。

在没有官方文档的情况下，这些仍属推测。

社区对偏见与安全的担忧

一条评论指出了潜在的种族偏见问题：

"创建这些图像的提示中并未说明他们想要白人肤色。嗯。有偏见的 LLM？" – TutleCpt

这突显了一个更广泛的问题：即使趣味性基准测试也可能暴露模型的意外偏见，尤其是在生成类人解剖结构时。

趣味性基准测试的更广泛背景

AssBench 与一系列轻松的 AI 评估（如「pelican-bench」、「banana-bench」）一脉相承。虽然它们提供娱乐，但也作为非正式的压力测试，揭示生成模型在边缘情况下的行为，而这些可能是更正式的基准测试所忽略的。

总结

AssBench 是一个讽刺性的基准测试，吸引了 Hacker News 上大量幽默评论。其缺乏文档限制了任何严肃的技术分析，但讨论凸显了 AI 社区如何利用幽默来探索模型能力、安全问题以及未来荒谬基准测试的可能性。

Sources

相关