为什么LLM鹈鹕看起来都一样?模式坍缩、提示词与设计创造力之争

简短回答

要求LLM画“一只骑自行车的鹈鹕”时,它们生成的SVG几乎完全相同——相同的从左到右构图、相同的太阳、相同的道路、相同的围巾——而Hacker News上关于文章《皇帝鹈鹕没穿衣服》的讨论线程对此含义产生了尖锐分歧。一方认为这是经过后训练的模型中一个真实且未被充分讨论的模式坍缩问题;另一方则认为,一个没有创意指导的裸提示词理应产生一个平淡、字面的答案,而这种雷同性恰恰说明指令遵循按预期工作。

源材料实际包含的内容

Hacker News的提交标题为“为什么LLM鹈鹕看起来像这样?”,并链接到arcfu.com上的一篇文章《皇帝鹈鹕没穿衣服》。该链接的抓取页面内容并非文章正文——而是一个公告线程,介绍Design Creativity Bench,这是Kombai推出的一个基准测试,用于评估AI模型在UI设计任务上的表现。该公告指出:

  • 16个前沿模型在80个开放式UI任务上进行了评估,每个任务都适配到两个产品领域,并配有人类设计师参考。
  • 衡量了三个维度:原创性(模型的设计与其他模型针对同一简报的输出有多不同)、创意范围(当产品领域变化时模型适应的程度)以及适切性(UI满足简报功能要求的程度)。
  • 报告的最佳模型OpenAI GPT-6 Astra得分为65.5,而人类参考得分为92.3。

该基准测试的框架——“前沿AI模型在设计创造力上仍远逊于人类设计师”——正是评论线程所回应的主张,尽管鹈鹕示例本身来自帖子链接的文章。

核心主张:LLM输出已发生模式坍缩

该论点最强的技术版本来自一位评论者,他将输出多样性与模型能力区分开来:

“所有当前经过后训练的LLM与后训练集分布相比都已发生模式坍缩,而这一点并未得到实验室和独立研究者的足够关注。这远非仅限Transformer的问题,而是所有类型模型中常见的失败模式。这也不是根本性限制,无监督模型在多样性方面完全可以达到训练集允许的程度。”

该评论(来自orbital-decay)提出了三个值得区分的要点:模式坍缩是后训练的产物,它并非Transformer特有,也不是固有的上限——基础模型或无监督模型保留了训练分布更多的广度。

另一位相关评论者(ozgung)指出了难以仅从提示词解释的具体趋同现象:“太阳、道路、绿色、围巾、向右行进。甚至风格。这些都不是人们根据提示词会做出的明显联想。”

反驳论点:简单的提示词理应得到简单的答案

线程中最常见的反对意见是,鹈鹕测试衡量的是字面指令遵循,而非创造力。

“如果我要求一只骑自行车的鹈鹕,我期望的是一张相对无聊的鹈鹕骑自行车图片,而不是一只在暴风雨中骑自行车飞行的鹈鹕。那根本不是我要的。”

该评论者(randomblock1)将论点扩展到一个具体的失败模式:要求一个笔记本电脑的SVG,一个未经提示的“创意”模型可能会返回一个复古或未来风格的笔记本电脑,更难识别且更可能被拒绝——因此训练将模型推向中性、规范的答案。

第二位评论者(riebschlager)将其框定为用户意图:“我想用这些工具来表达我的创造力,而不是它自己的……简单地完成一个简单的请求似乎是一个功能,而不是一个缺陷。”第三位(wolttam)直截了当地陈述了立场:“不同的LLM对相同提示词返回相似结果并不令人惊讶,甚至可能是可取的。如果你想要变化,就通过提示词要求。”

提示词确实会改变分布

线程中包含第一手证据,表明这种雷同性是对提示词敏感的,而非固定不变。一位评论者(joshkel)在Opus 5.5中测试了变体:

  • 添加“要有创意”产生了海滩场景,自行车篮里有鱼,背景中有灯塔——测试者描述为“不算太有创意”。
  • 添加“选择这个概念的一个独特且有创意的变体”产生了“午夜马戏团表演”:一只鹈鹕骑着前轮大后轮小的自行车走钢丝,同时平衡着一根挂着鱼的钓鱼竿,两端系在两座灯塔之间。

另一位评论者(ed)认为这是预期行为:“一个好的提示词会将分布从平均值移开……这是一个功能,而不是缺陷。”

第三位(tetraodonpuffer)提出了一个具体的后续实验:运行鹈鹕基准测试两次,一次附加“要有原创性”,然后检查是否每个模型都收敛到相同的原创性概念。同一位评论者类比了图像生成,其中基础模型比蒸馏或“turbo”变体对种子更敏感,并类比了人类行为:“如果你让100个人画一匹马,结果很可能更像‘这是一张标准马的照片’,而不是‘这是毕加索被要求画马时会画出的东西’。”

“多样性坍缩”可能是错误的变化方向

一位评论者(joshkel)指出了一个定义问题:文章中的短语“LLM多样性坍缩问题”暗示模型随时间推移变得更不多样,但链接的基准测试表明更新、更有能力的模型更有创意。这一矛盾在线程中未得到解决。

另一位评论者(vatsachak)从同一观察中得出了更强的结论:“LLM不能纯粹在LLM输出上预训练的原因在于LLM输出多样性低,”并补充说这暗示“假设的Qwen 4.5和Fable 5.5之间将没有功能差异”,以及“LLM不是AGI。”这些是评论者的主张,而非既定结果。

“多样”输出中的偏见

两位评论者指出,雷同性比主题本身更深。

  • spuz:“即使在多样集合中,大多数图像也显示鹈鹕从左向右骑行。我们的数据甚至大脑中都有大量偏见,要获得真正的多样性,你需要消除这些偏见。”
  • ks2048:“在13个示例中,有10个在自行车后面有3条小水平线来表示运动。这些看起来惊人地相似,不一定直接来自提示词。”

来自aabajian的相关观察涉及默认渲染风格:SVG请求似乎暗示了多边形、扁平的外观,而明确要求照片写实改变了结果——“它生成了一个多边形SVG。我要求它更照片写实,看起来好多了,但仍然是SVG。”

商业背景

一位评论者(phil-martin)将Design Creativity Bench公告识别为营销:“这是他们付费AI设计产品的巧妙广告”,位于kombai.com/features/design。评估基准测试头条数字的读者应权衡,基准测试和产品共享同一所有者。

为什么线程认为这超越鹈鹕而重要

实际担忧并非美学。一位评论者(jvanderbot)将趋同框定为竞争情报和安全问题:如果每个模型都以相同方式实现“给我做一个做X的东西”,输出类似于“一种堆栈溢出式的、注释良好的实习项目”——“雷同到你可以训练一个对手模型?或者事后攻击它?”

第二位(jeanpah)概括了风险:“如果鹈鹕发生这种情况,其他一切也会发生。”第三位(seidleroni)将这种模式与Ethan Mollick关于AI具有特定“品味”的写作联系起来,并认为实际回应是人类指导:“这是人类可以提供大量输入和指导的一种方式。”

提出但未回答的开放问题

  • “要有原创性”本身会坍缩吗? 提议的测试——附加指令并检查所有模型是否收敛到相同的原创性概念——在线程中被建议但未运行。
  • 人类如何比较? 一位评论者(electroweak)问,一个四年级班级被给予相同提示词,会产生比模型更多还是更少的多样性。
  • 有没有比鹈鹕更好的探针? 一位评论者(xtracto)报告说,要求模型提供折纸说明——“写一个SVG,包含用任意数量的A4纸制作一只骑自行车的鹈鹕的折纸图形说明”——对当前模型来说要难得多,大多数只能生成“一个基本能飞的纸飞机”。
  • 基准测试衡量的是正确的东西吗? Design Creativity Bench的三个轴(原创性、创意范围、适切性)明确区分了独特性与简报合规性,这正是大多数评论线程认为鹈鹕测试模糊的区分。

结论

鹈鹕的雷同性是真实且可复现的,但线程不支持单一解释。证据指向至少三个促成因素:后训练向模态答案的模式坍缩、对未充分指定提示词的字面指令遵循的奖励,以及共享的训练数据偏见,如从左到右的运动和默认的扁平SVG风格。分歧在于哪个因素占主导——以及解决方案是更好的提示词、更好的后训练,还是接受一个简单的请求理应得到一个简单的答案。

Sources