微软高管称 AI 抓取数据是“人类历史上最大规模的劳动窃取”——最新未删减文件披露

要点

《纽约时报》诉讼案中最新解封的文件显示，一位微软高管曾公开称这些公司对 AI 训练数据的抓取是“人类历史上最大规模的劳动窃取”，且文件详细记录了大规模绕过付费墙的抓取行为，这些行为直接导致《纽约时报》的点击率下降了高达 93%。

法律背景——合理使用与涉嫌窃取

这起于 2023 年提起的诉讼指控 OpenAI 和微软在未经许可的情况下，利用《纽约时报》的文章训练大语言模型 (LLMs)，从而违反了版权法。法官目前倾向于支持 AI 公司，将训练视为一种潜在的合理使用例外。合理使用要求该使用行为不能替代原作或损害其市场。然而，未删减的文件中包含的内部承认直接反驳了这一辩护：

微软内部的 Copilot 数据显示，当用户从 AI 获取答案而不是访问网站时，《纽约时报》的点击率下降了 93%。
高管们将这种情况描述为一种“厄运循环”，既损害了模型的性能，也损害了网络生态系统。
微软和 OpenAI 的领导层都称这些 AI 产品对出版商构成了“生存威胁”，承认它们是替代性的，而不仅仅是转换性的。

这些声明表明，这些公司意识到他们的模型可能会取代原始内容，这是反驳合理使用主张的关键因素。

抓取行动的规模

文件量化了数据收集的规模：

在 OpenAI 的训练中期数据集中，发现了超过 91,692 份来自《纽约时报》、《每日新闻》和调查报道中心的文章副本。
一个源自 Common Crawl 的数据集仅来自 nytimes.com 的文档就超过了 200 万 份。
Project Mango（微软与 OpenAI 的联合项目）收集了至少 160,903 份来自新闻出版商的独特作品。
内部备忘录作者 Brent Hecht（微软应用科学总监）称这种做法是“史无前例的惊人窃取”，并将其标记为“人类历史上最大规模的劳动窃取”。

用于绕过付费墙的方法

文件描述了为规避付费墙而采取的蓄意技术手段：

OpenAI 研究人员讨论了一种“绕过 NYT 付费墙的黑客手段”，对此 CEO Greg Brockman 回复道：“啊，不错。”
抓取是通过 Bing 索引和 Common Crawl 执行的，随后剥离了版权声明，以防止模型输出再现归属文本。
WebText 和 WebText2 等训练数据集在很大程度上偏向于抓取的新闻内容。

关于许可与责任的高管证词

微软和 OpenAI 的高管都公开承认了许可的必要性：

“任何付费墙后的内容，如果有人想使用……用于基础或训练，都应该获得许可。” —— Satya Nadella，微软 CEO（证词）。

Nadella 还表示，如果他早知道 OpenAI 抓取了付费墙后的材料，他会要求其重新训练模型。

OpenAI 的 ChatGPT 负责人 Nick Turley 在内部写道，出版商面临“生存威胁”，且这些模型“很大程度上是替代性的”。

对出版商的经济影响

文件提供了收入损失的具体证据：

与传统的 Bing 搜索相比，Copilot 的答案引擎使《纽约时报》的点击率降低了高达 93%。
微软的内部文件称这种情况“非常罕见”，因为终端产品正在威胁其内容供应商的经济基础。

这些数字说明了直接的市场替代效应，削弱了关于 AI 不会取代原作的合理使用论点。

法律顾问与业界的反应

《纽约每日新闻》的法律顾问 Steven Lieberman 表示：

“这里首次披露的证据表明，OpenAI 和微软明知他们的所作所为是错误的。”

文件中还提到，美国政府在本月早些时候提交的一份简报中，在合理使用辩护上站在了 OpenAI 一边，这突显了政府支持与目前记录在案的内部承认之间的鲜明对比。

来自 Hacker News 的社区观点

Hacker News 上的讨论反映了一系列观点：

道德义愤： 用户将这种抓取比作文化抢劫，并将其与历史上的掠夺相提并论（例如 @jacquesm, @pianoben）。
技术细微差别： 一些人认为阅读文本并非窃取，强调了人类学习与可无限复制的 AI 模型之间的区别（例如 @47282847, @heaney-555）。
经济担忧： 评论指出这对劳动力的更广泛影响，以及 AI 取代创作者的潜力（例如 @tom2026hn, @leonidasrup）。
政策建议： 提议包括对 AI 公司征税、在模型输出中嵌入版税，或将模型作为公共服务资产（例如 @AdamN, @bentt）。

这些反应强调了关于如何在 AI 创新与创作者权利之间取得平衡的社会辩论。

对未来 AI 发展的启示

未删减的文件首次公开披露了内部承认，即 AI 训练行为在现行版权法下可能是非法的。如果法院接受这些承认，其后果可能包括：

强制许可：对模型训练中使用的任何付费墙内容进行强制许可。
潜在赔偿：基于已证明的出版商流量和收入损失进行赔偿。
加强监管：对 AI 数据收集行为进行更严格的监管，可能导致新的立法。
行业转型：行业转向更透明的数据管道、开源数据集或公共服务模型托管。