Anthropic Project PanamaとAI学習のための物理書籍の破壊

AI企業は学習データとして物理書籍をデジタル化し、破棄している

AI企業は、AI生成コンテンツによる汚染の可能性が低い2022年以前の高品質な学習データを取得するために、数百万冊の中古物理書籍を購入しています。「破壊的スキャン（destructive scanning）」と呼ばれるプロセスにおいて、これらの書籍は製本が解かれ、高速スキャン用にサイズ調整された後、物理的な原本は破棄されます。

この慣行は、主に3つの要因によって推進されています：

競争優位性: 物理的なコピーを破壊することで、企業は競合他社が自社の学習セットと同じ希少な資料を取得することを防ぎます。
法的リスクの軽減: 著作権紛争の文脈において、プライベートサーバーに保存されたデジタルコピーは、物理的なアーカイブよりも管理が容易です。
コスト効率: 破壊的スキャンは、ページの歪みを修正するために多くの人手を必要とする非破壊的な方法よりも、大幅に安価で高速です。

Anthropicの「Project Panama」

Anthropicの「Project Panama」はこの慣行の主要な例として浮上しています。15億ドルの著作権和解（Anthropic v. Bartz）の詳細によると、同社は数千万ドルを投じて数百万冊の印刷書籍を購入しました。これらの書籍は、サービスプロバイダーによって処理され、製本が取り除かれ、紙の原本を破棄する前に、機械読み取り可能なテキストを含むPDFとしてスキャンされました。

裁判所は、これらの書籍をClaude LLMを学習させるために使用することは「極めて変容的（exceedingly transformative）」であり、著作権法第107条に基づくフェアユースを構成すると裁定しましたが、そのプロセスは知識の物理的な保存に対する影響という点で激しい批判を浴びています。

グローバルなスキャン・イニシアチブへの呼びかけ

大規模なシャドウライブラリであるAnna's Archiveは、AI企業によって取得・破壊される前に、希少な書籍、ジャーナル、アーカイブをスキャンしてアップロードするための、世界的なボランティア活動を呼びかけています。同組織は、このプロセスが、特定のテキストの唯一の生存コピーが企業のサーバー上のプライベートデータとしてのみ存在する「知識の独占」を生み出すと主張しています。

ボランティアは、世界中の図書館やアーカイブから資料をスキャンしてアップロードすることを奨励されています。これは、AI生成コンテンツがインターネットを支配し始め、オリジナルの人間の思考と合成された出力を区別することが困難になっている中で、人間が執筆した知識がパブリックドメインに留まることを確実にするためです。

技術的および倫理的な論争

破壊的スキャンという慣行は、技術専門家やアーキビストの間で二極化した論争を引き起こしています：

破壊に反対する議論

文化遺産の喪失: 批判者は、希少な書籍は単なるテキスト以上のものです。それらには、スキャン中に失われるタイポグラフィ、物質的歴史、およびデザインが含まれています。
不可逆性: 一度希少なコピーが破壊されると、回収することはできません。もし企業がアクセスを制限すると決定した場合、その情報へのアクセス価格は実質的に無限になります。
歴史的な喪失との比較: 一部の観察者は、この傾向をアレクサンドリア図書館の焼失に例えています。そこでは、何世紀にもわたる知識が永久に消去されました。

賛成または中立の議論

大衆向け書籍の冗長性: 多くの人は、購入される書籍の多くが大衆向けの商品として複製されたものですと主張しています。もし一冊の書籍のコピーが数千冊存在する場合、デジタル版のために一冊を破壊することは人類に害を及ぼしません。
デジタル保存: 一部の人は、デジタルコピーは、古本屋にある腐敗していく物理的な書籍よりも、より耐久性があり、アクセスしやすいと主張しています。
機関による保護策: 他の人は、米国議会図書館や大英図書館が、それぞれの領土内で出版されたほぼすべての書籍のコピーを既に保存していることを指摘しています。これにより、数枚の中古書籍の「破壊」は些細な問題となります。

提案されている解決策

立法的な義務付け: AI企業に対し、著作権が切れた書籍のあらゆる高解像度スキャンをパブリックドメインに公開することを義務付けることが提案されています。
政府によるアーカイブ化: 著作権が切れるまで、企業が元のスキャンとOCR結果をナショナル・アーカイブスに保管するために提供することを政府が要求することを提案する案が出ています。
非破壊的要件: 一些の専門家は、物理的に真に希少な書籍は非破壊的にスキャンし、大量生産されたコモディティは標準的なパイプラインで処理するという、段階的なアプローチを提案しています。