앤트로픽 프로젝트 파나마와 AI 훈련을 위한 물리적 책의 파괴

AI 기업들이 훈련 데이터 확보를 위해 물리적 책을 디지털화하고 파괴하고 있다

AI 기업들은 2022년 이전의 고질적인 훈련 데이터를 확보하기 위해 수백만 권의 중고 물리적 책을 확보하고 있다. 이 시대의 데이터는 AI 생성 콘텐츠에 오염될 가능성이 낮기 때문이다. '파괴적 스캔'이라 불리는 과정에서, 책들은 표지와 바인딩을 제거하고 고속 스캔을 위해 크기 조절된 후, 물리적 원본은 폐기된다.

이러한 관행은 세 가지 주요 요인에 의해 추진된다:

경쟁 우위: 물리적 복본을 파괴함으로써 기업들은 경쟁사가 동일한 희귀 자료를 자신의 훈련 데이터로 확보하는 것을 막을 수 있다.
법적 리스크 완화: 저작권 분쟁 상황에서 개인 서버에 저장된 디지털 복사본은 물리적 아카이브보다 관리가 용이하다.
비용 효율성: 파괴적 스캔은 페이지 왜곡을 보정하기 위해 더 많은 인적 노동이 필요한 비파괴 방법보다 훨씬 저렴하고 빠르다.

앤트로픽의 '프로젝트 파나마'

앤트로픽의 '프로젝트 파나마'는 이 관행의 대표적인 사례로 부상했다. 15억 달러 규모의 저작권 합의안(앤트로픽 대 바르츠)에 따르면, 회사는 수천만 권의 인쇄본 책을 구입하는 데 수천만 달러를 지출했다. 이 책들은 서비스 제공업체에 의해 바인딩이 제거되고, 기계가 인식할 수 있는 텍스트가 포함된 PDF로 스캔된 후, 종이 원본은 폐기되었다.

법원은 클로드 LLM을 훈련시키기 위해 이 책들을 사용한 것이 '매우 전형적인 변형'이라 판단하며, 저작권법 제107조에 따라 공정 이용에 해당한다고 판결했다. 그러나 이 과정은 지식의 물리적 보존에 미치는 영향으로 인해 강한 비판을 받고 있다.

글로벌 스캔 이니셔티브의 촉구

대규모 샤도 라이브러리인 앤나의 아카이브(Anna's Archive)는 AI 기업들이 책을 확보하고 파괴하기 전에 희귀 도서, 저널, 아카이브를 스캔하고 업로드할 수 있는 글로벌 자원봉사 운동을 촉구하고 있다. 이 조직은 이 과정이 특정 텍스트의 유일한 생존 복사본이 기업 서버의 사적 데이터로만 남는다는 점에서 '지식에 대한 독점'을 만들어낸다고 주장한다.

자원봉사자들은 전 세계 도서관과 아카이브에서 자료를 스캔하여, 인간이 창작한 지식이 공공 영역에 남아 있도록 하기를 권장한다. 특히 AI 생성 콘텐츠가 인터넷을 지배하기 시작하면서, 원본 인간의 사고와 합성 출력을 구분하기 어려워지고 있기 때문이다.

기술적 및 윤리적 논쟁

파괴적 스캔의 관행은 기술 전문가와 보존가들 사이에서 극심한 논쟁을 일으키고 있다.

파괴에 반대하는 주장

문화 유산의 손실: 비판자들은 희귀 도서는 단순한 텍스트를 넘어서 타이포그래피, 재료 역사, 디자인 등이 담겨 있으며, 스캔 과정에서 이러한 요소들이 사라진다고 주장한다.
역행 불가능성: 희귀 복본이 파괴되면 복구할 수 없으며, 기업이 접근을 제한할 경우 정보에 대한 접근 가격은 무한대가 된다.
역사적 손실과의 비교: 일부 관찰자는 이 추세를 알렉산드리아 도서관이 불타버린 사건과 비교하며, 수세기에 걸친 지식이 영원히 사라졌다고 지적한다.

찬성 또는 중립적인 주장

대량 시장 도서의 중복성: 많은 이들은 대부분의 책이 대량 시장 복제본이라는 점을 지적한다. 수천 권의 책이 존재한다면, 디지털 버전을 위해 한 권의 복본을 파괴하는 것은 인류에게 해를 끼치지 않는다.
디지털 보존의 이점: 일부는 디지털 복사본이 중고 서점의 썩어가는 물리적 책보다 더 견고하고 접근성이 뛰어나다고 주장한다.
제도적 보호 장치: 다른 이들은 미국 국립도서관과 영국국립도서관이 각각의 영토에서 출판된 거의 모든 책의 복사본을 보존하고 있기 때문에, 몇몇 중고 책의 '파괴'는 무의미하다고 지적한다.

제안된 해결책

비파괴적 요구사항: 진정으로 희귀한 책은 비파괴적으로 스캔하고, 대량 생산된 상품은 표준 파이프라인으로 처리하는 계층적 접근을 제안하는 의견도 있다.