AIトレーニングと書籍の物理的破壊

AI企業がトレーニングデータのために物理的な書籍を購入し、破壊している

AI企業は、仲介業者を通じて数百万冊の中古の物理的な書籍を取得し、それらをスキャンしてトレーニングデータとして利用した後、物理的なコピーを破壊していると報じられています。この慣行は、現在インターネットを飽和させているAI生成コンテンツのノイズを避けるために、「機械に触れられていない」高品質なトレーニングデータ、具体的には2022年以前に発行されたコンテンツを必要としていることから生じています。

Anna’s Archiveのレポートによると、Anthropicの「Project Panama」はこの傾向の主要な例です。このプロジェクトでは、Claude LLMをトレーニングするために、数千万ドルを投じて数百万冊の紙の書籍を購入、スキャン、および破壊したとされています。この戦略の動機は、以下の3点に集約されます：

Competitive Advantage: 競合他社が同じ物理的な情報源をスキャンして使用することを防ぐ。
Legal Mitigation: デジタル著作権侵害に関連する法的リスクを軽減する。
Cost Efficiency: 書籍を破壊することは、ロスレス（無損失）スキャンアーカイブを維持するよりも安価であることが多い。

知識の私有化のリスク

物理的な書籍を体系的にスキャンし破壊することは、人類の知識が民間企業のサーバー上で永久に独占されるというリスクを生み出します。AIアシスタントはより有能になるかもしれませんが、その根底にある一次ソースはパブリックドメインから消失してしまう可能性があります。これは、知識へのアクセスを容易にすると約束する企業が、同時にその知識の物理的な媒体を解体しているというパラドックスを生み出しています。

Anna’s Archiveは、人類の文明の記憶が自由でアクセス可能な状態であり続けることを確実にするために、希少な書籍、ジャーナル、新聞、雑誌をスキャンして「アレクサンドリアのデジタル図書館」にアップロードするという、世界的なボランティア活動を呼びかけています。この緊急性は、以下の要因によって増幅されています：

AI Content Saturation: 2025年初頭以来、AI生成コンテンツが新しいインターネット出版物の半分以上を占めるようになり、人間が書いた作品を区別することが難しくなっています。
Data Monopoly: もしAI企業が破壊された書籍のデジタルスキャン版の唯一の所有者であれば、彼らはその情報へのアクセスを制御することになります。

批判的な視点と反論

Hacker Newsでのコミュニティの議論では、これらの主張に関する重大な懐疑論とニュアンスが含まれています。いくつかの主要な反論が浮上しています：

著作権法の役割

一部の論者は、書籍の破壊はAI企業による悪意のある選択ではなく、「カフカ的」な著作権法の要件であると主張しています。特定の法的枠組みの下では、書籍をデジタル化する際、ライセンスがコピーではなく譲渡されることを確実にするために、原本の破壊が必要となる場合があります。

規模と希少性

多くの批判者は、「希少な」書籍が実際にターゲットにされているのか疑問を呈しています。彼らは、AI企業が、棚で腐敗しているか、あるいはプロの書籍業者によってパルプ化（解体）される運命にある中古の書籍を大量に購入しているに過ぎないと主張しています。あるコメント投稿者が次のように述べています：

"Actual professional specialized book dealers pulp books by the millions... model trainers only have use for a single copy of a book. Even if they were literally burning these books to spite you, you'd be destroying an infinitesimal fraction of the books the book trade already destroys."

制度的な保存

他の人々は、国立図書館（米国のLibrary of Congressや英国のBritish Libraryなど）が法定納本制度を有していることを指摘しています。これは、ほぼすべての出版された書籍のコピーがすでに公的資金によるアーカイブに保存されていることを意味し、知識の完全な消失は考えにくいということです。

「保存」のパラドックス

一部の論者は、書籍をスキャンしモデルをトレーニングするために使用することは、一種の保存であると主張しています。もし書籍が不明瞭で読まれていないものであった場合、LLM内の重み（weights）へと変換することは、たとえ物理的なコピーが破壊されたとしても、その情報がより広い聴衆に届く唯一の方法かもしれません。

紛争の要約

この緊張関係は、知識をどのように保存し、アクセスすべきかという根本的な意見の相違に集約されます。一方には、企業の独占を防ぐために、オープンで分散型のシャドウ・ライブラリを推進する動きがあります。もう側には、商業的な書籍市場と、デジタル化のプロセスにおいて物理的なメディアの破壊を破壊を促す法制度の仕組みがあります。