为什么AI生成的语言如此难以理解?深入解析arXiv 2610.29162关于LLM写作风格的研究

一项于2026年10月21日发布在arXiv上的研究发现,其测试的所有九个前沿及接近前沿的语言模型都比人类作者使用更多心理语言学上更难的句式,并提出了一种解释:AI文本越来越优化于数学、代码和推理中的信息密度,而非成功沟通。这篇题为“为什么AI生成的语言如此难以理解?”(arXiv:2610.29162,cs.CL,交叉列表cs.AI,由Thomas Clark提交)的论文在Hacker News上获得了251分和约200条评论,从业者大多认同这一诊断并补充了他们自己的观察。

论文的核心主张

普遍认为AI生成的文本最近变得更难理解,这是一个可测量的语言现象,而非主观印象。论文认为,语言模型过度使用了心理语言学已知会增加人类处理难度的特征,而这种过度使用是训练目标奖励信息密度而非成功沟通的副作用。

研究测量了什么

该研究构建了一个涵盖多个领域的新型AI生成文本语料库,并根据已知与人类阅读难度相关的心理语言学特征进行评分:宾语关系从句、长句法依赖和低频n-gram。研究使用了两个比较点:通过往返翻译生成的相同内容释义,以及人类写作。

特征的选择对解释结果至关重要。在此框架中,宾语关系从句、长依赖和罕见n-gram并非风格偏好;它们是读者阅读时间和误解析频率的既定预测因子。

按模型和特征的结果

与人类写作相比,所有九个测试的前沿及接近前沿模型都使用了更多无生命主语搭配有生命动词,以及更多低频n-gram。其中大多数模型在对话中还使用了更长的句法依赖、更多堆叠名词和更多缩减的宾语关系从句。论文报告了不同模型家族之间的显著差异,因此这种行为并非在所有实验室或模型谱系中一致。

这些模型使用这些困难特征的频率也高于往返翻译生成的释义,这意味着该效应不仅仅是释义或任何单一重写流程的副产品。

提出的原因:信息密度与沟通

论文的假设是,人类语言优化于成功沟通,而AI生成的文本越来越优化于其他目标,如数学、代码和推理,在这些领域压力在于信息密度而非相互理解。在这种压力下,压缩和句法不寻常的结构在token上是高效的,即使对人类读者来说代价高昂。

作者提供了一个概念验证而非完整的因果解释:在长度惩罚下微调语言模型会导致偏离人类语言行为。换句话说,仅奖励更短的输出就足以使语法选择偏离人们自然产生的内容。

强化学习联系,论文原话

论文的结论(由评论者orbital-decay在Hacker News线程中引用)将该效应与使用GRPO的强化学习和可验证奖励联系起来:

我们将这些结果视为概念验证,即在使用GRPO的强化学习期间使用的长度惩罚可以直接影响语法特征。我们注意到,模型并未被直接指示使用压缩或密集语言,也未直接获得关于句法交替可用性的信息。相反,惩罚导致了对句法交替中较短成员的涌现偏好。[...] 我们推测,使用可验证奖励创造了一个环境,其中正确性与人类式沟通脱钩,导致模型趋向于一种新颖的、可能更不易理解的语言使用分布。

Orbital-decay指出,这种现象是特定于语域的:它在Claude的默认语域中可见,而模型在被提示时仍能以不同方式写作。

评论者对风格出现原因的解释

RLHF奖励了看起来好的写作,而非有用的写作

一位技术作家认为,默认模型响应优化于人们认为的好写作,而非实际的好写作。评论者dividefuel将此归因于多年RLHF调整到评分者的第一印象:

它使用列表!它有标题!它使用像“确凿证据”这样的有趣短语!它长且信息丰富!这些相对快速且容易识别和选择作为偏好。但这些都不真正涵盖响应是否对受众有用。如果你不是受众,可能很难判断什么有用什么没用。

评论者charlieyu1补充说,理解容易度在训练中完全不被优先考虑,并怀疑前沿实验室会花钱优化不可测量和主观的东西。

训练语料库偏向说服、行话和噪音

几位评论者将问题定位在数据上。评论者anigbrowl观察到,训练语料库包含大量商业言论,旨在麻痹批判能力并产生行动,以及旨在说服的观点文章,通常通过修辞谬误。评论者podocarp认为,在整个人类互联网的平均值上训练的模型从垃圾远远超过好写作的分布中学习,而RLHF进一步偏向用户选择的平均值。评论者lhwy02jsj提出了相关观察,即训练数据反映了人类表达,这些表达详细阐述上下文并旨在精确,推动生成朝向复杂性而非对话式沟通。

Token效率奖励密集名词短语

线程中最具体的机械解释是token经济。评论者bassie123认为,AI写作优化于在最少token中打包最多信息,例如:

(例如,“基线系统状态转换延迟验证”)而不是用介词展开(“验证基线系统中状态转换的延迟”)。

同一位评论者推测,擅长略读的读者对AI生成文本的问题较少,而困难可能集中在依赖顺序理解的读者中。评论者amelius将密度论点扩展到用户面向文本之外:当AI生成语言内部用于指导代理和反馈推理循环时,仅优化结果意味着模型越来越说AI而非人类。

文本背后没有思想

一组评论认为,困难根本不是措辞问题,而是缺乏作者。评论者lukev写道,LLM文本“难以理解,因为虽然它是完全好的语言,遵循有效的认知和信息模式,但它不反映另一个思想意图或心智模型。”评论者Terr_从读者角度提出了同样的论点:人类沟通建立在潜意识模拟另一端思想的基础上,而LLM输出持续未能满足这种模拟,足以令人疲惫,将其比作塑料动物触发交配本能,因为它满足足够多的要求。评论者noosphr将其归因于缺乏基础:“AI生成的文本没有以人为中心的物理现实底层模型,其隐喻因此扭曲。”评论者grey-area总结为“一个词生成器,而非意义生成器。”评论者Rapzid将同样的缺陷与设计能力联系起来,认为模型缺乏认知同理心,而这正是产生良好沟通(无论是写作还是系统设计)的关键。

使AI文本难以阅读的具体结构

及物动词的不及物使用

评论者cryzinger指出了一种论文中未提及的结构:模型以人类写作中罕见的方式使用及物动词的不及物形式。给出的例子是“用户按下按钮,表单提交。”评论者指出,“提交”的合法不及物用法存在,但在此上下文中没有意义,其中“提交”需要宾语或应改为被动语态。抱怨是歧义迫使读者猜测,评论者称这在技术文档中不可接受:“如果你的所谓文档要求读者/用户进行有根据的猜测,那么某些事情已经严重出错。”

密集名词风格和指称省略

评论者lxe描述了迭代写作清晰度提示的过程,并为提示针对的模式创造了一个名称:“无连词并列与指称省略和重复修辞闭合。”评论者指出,该短语并未完全捕捉问题,但接近。无连词并列意味着没有连词的从句连接;指称省略意味着隐含指称;重复修辞闭合意味着以相同的总结节奏结束段落。这三个属性结合描述了文本,读起来密集、自我指涉且节奏奇特。

歧义作为对冲,花园路径作为选项保留

评论者vikramkr提出了一种推测机制,将歧义与解码联系起来:模糊指称(如裸“它”)可能让模型保持未承诺状态,直到后续token可以解决为最终正确的内容,而早期承诺明确名词会使错误答案无法修复。同一位评论者质疑哪些风格部分是真实的RL效应,哪些是过度解释,指出模型并非都写得一样,除非它们蒸馏同一来源,并引用回忆说,最近的Opus模型经过强化调整以更正常地说话,其阅读体验和得分都优于前代。评论者xg15提出了相关推测,即强化学习压力下的逐步推理可能鼓励语法歧义句子,因为歧义使模型在句子中保持选项开放。

冗长与密度

线程中关于问题是过度压缩还是压缩不足存在直接分歧。评论者petersumskas报告未遇到过度简洁,将所谓的“Claudish”描述为更接近“使用这个奇怪技巧成为X专家”类型:文章没完没了,从未真正切中要点,他们通过要求更简洁来修复。评论者bassie123报告了相反的问题。两者都可能正确,因为论文测量的特征涉及句法和词汇难度,而非原始长度。

讨论中提出的反驳观点

评论者jasomill部分拒绝了前提:“我完全不觉得AI写作难以理解,只是有点乏味,”同时指出许多所谓的AI主义也是他们从自己写作中编辑掉的模式,以保持清晰,并捍卫破折号作为合法且可取。他们还观察到,许多同样的批评可以针对人类散文。

评论者ionetan认为这种现象并非独特于人工,指出政治家和学者表达巧妙,但仔细解析时却语无伦次:“AI有一种使用抽象语言的方式,听起来令人印象深刻且雄辩,但实际上大多是语无伦次的废话。”这一框架暗示论文测量的特征可能捕捉了一种先于语言模型的矫饰风格,即使模型现在以更大数量产生它。

评论者orbital-decay关于效应依赖于语域的说明是对主张的重要边界:默认听起来压缩的同一模型可以被引导出该风格,这意味着行为是默认而非固定能力。评论者Self-Perfection提出这可以被故意利用,指出提示注入作为角色混淆的工作,表明不同角色产生不同结构和质地的文本,并建议模型可以调整以在思考角色中保持信息密度,同时在助手角色中产生人类可读文本。

人们报告使用的实用缓解措施

几位评论者描述了可测量改变输出的引导技术。评论者cowlby报告一致要求“8年级阅读水平”、“儿童故事书”或ASD-STE100简化技术英语,并发现即使小引导也显著约束语言选择。评论者lxe发布了迭代写作清晰度提示到公共gist。评论者TheSmoke报告使用“unslop”和pstack插件集合中的技术写作技能,用于技术写作、系统设计、架构和代码注释。评论者unsloppable描述构建了一个工具,将AI副本扩展为意义组件,然后用更普通语言重写,动机是工作中必须理解大量AI生成文本。

线程未解决开放问题

评论者sadrasabouri询问仅训练于自然语言的模型(如旧系统)是否显示相同特征,以及训练于数学、代码和推理是否在某些方面有帮助,同时产生这种写作风格作为副作用。该问题直接测试论文的因果假设,在线程中未得到回答。

评论者prmph问为什么模型似乎随时间变得更差,回忆起Claude写作曾相当清晰,后来变得难以理解和奇怪。线程中没有人产生明确解释,尽管vikramkr关于写作风格是GPU时间花费的刻意产品决策的建议是一个候选。

评论者armchairhacker提出了一个不涉及句法的相关失败模式:模型不擅长区分重要与平凡。被要求改进高级规范时,模型不断提议记录深奥边缘情况和实现细节。评论者ianmarcinkowski从工作场所角度接近同一主题,讲述团队对话关于同事通过AI路由写作,并陈述了线程语气大致共享的立场:“写作即思考,”他们宁愿思考。评论者补充说,“我讨厌AI写作。非常讨厌。”

底线

arXiv论文2610.29162将常见抱怨打包成可测试主张:九个前沿和接近前沿模型使用比人类更困难的心理语言学结构,而强化学习期间应用的长度惩罚本身足以推动模型偏离人类语法。Hacker News讨论汇聚于同一观察的三个互补解释:RLHF奖励看起来令人印象深刻但可能无用的写作,训练语料库充满说服性和商业文本,以及读者试图模拟一个不存在的思想。论文和线程中最可操作发现是风格是默认而非硬约束,因为阅读水平指令、清晰度提示和明确角色分离都改变输出。

Sources

相关