DeepMind Kaggle 竞赛争议：AI 生成内容夺得大奖

AI 生成内容赢得 25,000 美元 DeepMind Kaggle 大奖

A submission 被批评者称为 "AI slop"（AI 废料）的参赛作品在由 DeepMind 赞助、专注于衡量 AGI 的 Kaggle 竞赛中赢得了 25,000 美元的冠军大奖。争议的焦点在于，据称获奖作品包含明显的幻觉和 AI 生成的填充内容，但仍被选为获胜者，这表明评估过程存在缺陷。

"LLM-as-a-Judge" 的失败

社区提出的主要技术担忧是依赖大语言模型 (LLM) 来评判其他 LLM 生成的提交内容。这创造了一个反馈循环，使得 AI 生成的内容针对另一个 AI 的评估指标进行优化，而不是针对人类的实用性或事实准确性进行优化。

关键技术批评

• Metric Hill-Climbing: 批评者认为，当竞赛使用客观指标时，AI 表现良好。然而，当它们依赖 "LLM as a Judge" 时，结果往往会退化，因为 AI 评委可以被特定的措辞或模仿高质量输出但没有实际实质内容的 "slop" 所迷惑。
• Prompt Injection Risks: 一些参与者注意到在 AI 驱动的黑客松中存在一种趋势，即项目获胜并非基于技术功底，而是因为它们使用 prompt injection 来说服 AI 评委它们是获胜者。
• Pattern Recognition vs. Understanding: 获奖作品据称使用了 Claude (Anthropic 的 LLM) 的典型措辞，例如 "the smoking gun"，这表明内容是由 AI 生成并随后在没有经过严格的人类监督的情况下提交的。

社区对 AI "Slop" 的看法

Hacker News 上的技术观察者们表达了担忧，认为 AI 生成内容的激增正在侵蚀研究和竞赛平台的质量。

"Sadly, the major ML/AI/NLP conferences are being inundated with AI slop papers. That will arguably have a bigger impact on the quality of research moving forward."

其他贡献者指出，这是一个超出 Kaggle 之外、延伸至专业招聘领域的系统性问题，并指出 "slop-filled resumes apparently work better these days"（显然，现在充斥着 slop 的简历也更有效），因为它们同样是在被 AI 筛选。

反驳观点与背景

并非所有观察者都将此结果视为系统的失败。一些人认为，机器学习 (ML) 的性质始终关乎自动化过程和 "black boxes"（黑盒）。

• Brute Force Tradition: 一些人坚持认为，使用 LLM 来生成代码或优化提交内容仅仅是超参数调优 (hyperparameter tuning) 和自动化特征选择 (automated feature selection) 的现代版本，而这些在 Kaggle 竞赛中已经存在多年了。
• Value vs. Perfection: 有一种观点认为，如果获奖作品尽管存在一些 "inconsistencies or mistakes"（不一致或错误），但提供了整体价值，那么它仍应被视为有效的获胜者。

对未来竞赛的影响

这一事件为 AI 评估的设计提供了一个元教训 (meta-lesson)。为了避免 "AI slop" 式的胜利，组织者可能需要从纯粹基于 LLM 的评判转向重新整合人类专家评审或更严谨、客观的验证步骤，以确保获奖输出是基于现实的而非针对模型偏好进行优化的。