Anthropic 项目 Panama 与为人工智能训练而销毁实体书籍

人工智能公司正在数字化并销毁实体书籍以获取训练数据

人工智能公司正在收购数百万本二手实体书籍，以获取高质量的训练数据，这些数据来自2022年之前的时期，因此不太可能被人工智能生成内容污染。在被称为“破坏性扫描”的过程中，这些书籍被拆除装订并裁剪至合适尺寸，以便进行高速扫描，之后原始实体书籍被丢弃。

这一做法主要由三个因素驱动：

1. 竞争优势： 通过销毁实体副本，公司可以防止竞争对手获取相同稀有材料用于自身训练集。
2. 法律风险降低： 与物理档案相比，将数字副本存储在私人服务器上，在版权纠纷中更容易管理。
3. 成本效益： 破坏性扫描比非破坏性方法便宜得多且速度快得多，后者需要更多人工劳动来纠正页面失真。

Anthropic 的“项目 Panama”

Anthropic 的“项目 Panama”已成为这一做法的主要案例。根据一项 15 亿美元版权和解协议（Anthropic v. Bartz）的细节，该公司花费数千万美元购买了数百万本印刷书籍。这些书籍随后由服务提供商处理，移除装订后将页面扫描为带机器可读文本的 PDF 文件，然后丢弃纸质原件。

尽管法院裁定使用这些书籍训练 Claude 大语言模型的行为“具有极强的转化性”，并符合《版权法》第 107 条规定的合理使用，但这一过程因其对知识物理保存的影响而受到强烈批评。

呼吁全球扫描行动

Anna's Archive（一个大规模的影子图书馆）正在呼吁全球志愿者行动，扫描并上传稀有书籍、期刊和档案，以防止它们被人工智能公司收购并销毁。该组织认为，这一过程造成了“知识垄断”，某些文本的唯一幸存副本仅存在于企业服务器的私有数据中。

鼓励志愿者从全球各地的图书馆和档案馆扫描资料，以确保人类创作的知识保留在公共领域，特别是随着人工智能生成内容开始主导互联网，使得区分原始人类思想与合成输出变得越来越困难。

技术与伦理争议

破坏性扫描的做法在技术专家和档案工作者中引发了两极分化的争论：

反对销毁的观点

• 文化遗产的损失： 批评者认为，稀有书籍不仅仅是文字内容；它们还包含排版、物质历史和设计，这些在扫描过程中都会丢失。
• 不可逆性： 一旦稀有副本被销毁，就无法恢复，如果企业决定限制访问，那么获取这些信息的成本将变为无限大。
• 与历史损失的类比： 一些观察者将这一趋势比作亚历山大图书馆的焚毁，当时数个世纪的知识被永久抹去。

支持或中立的观点

• 大众市场书籍的冗余性： 许多人认为，大多数购买的书籍都是大众市场复制品。如果一本书有数千个副本，为数字版本销毁一个副本并不会对人类造成伤害。
• 数字保存的优势： 一些人认为，数字副本比在二手书店中腐烂的实体书更耐用、更易访问。
• 机构保护机制： 其他人指出，美国国会图书馆和大英图书馆已经保存了各自领土内几乎所有出版书籍的副本，因此销毁少数二手副本并不重要。

提出的解决方案

• 立法强制要求： 建议要求人工智能公司向公众发布任何已过版权保护期书籍的高分辨率扫描件。
• 政府档案保存： 有人提议政府应要求公司提供原始扫描件和 OCR 结果，交由国家档案馆保管，直至版权到期。
• 非破坏性要求： 有人建议采用分级方法，对真正稀有的书籍进行非破坏性扫描，而对大批量生产的商品则使用标准流程处理。