Microsoft 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 절도'라고 부르다 – 새로 공개된 편집되지 않은 문서들

핵심 요약

New York Times 소송에서 새로 공개된 문서에 따르면, Microsoft의 한 고위 임원이 회사의 AI 학습 데이터 스크래핑을 공개적으로 '인류 역사상 최대의 노동 절도'라고 지칭했으며, 해당 문서들은 Times의 클릭률을 최대 93%까지 직접적으로 감소시킨 대규모의 페이월 우회 스크래핑 내용을 상세히 담고 있습니다.

법적 맥락 – 공정 이용(Fair Use) vs. 절도 혐의

2023년에 제기된 이 소송은 OpenAI와 Microsoft가 Times의 기사를 허가 없이 대규모 언어 모델(LLM) 학습에 사용하여 저작권법을 위반했다고 주장합니다. 판사들은 지금까지 AI 학습을 잠재적인 공정 이용(fair use) 예외로 간주하며 AI 기업들에 유리한 입장을 보여왔습니다. 공정 이용은 해당 사용이 원본 저작물을 대체하거나 시장에 해를 끼치지 않아야 한다는 조건을 요구합니다. 편집되지 않은 이번 문서들에는 그 방어 논리를 정면으로 반박하는 내부 인정 사항들이 포함되어 있습니다:

Microsoft의 내부 Copilot 데이터에 따르면, 사용자가 사이트를 방문하는 대신 AI로부터 답변을 받을 때 Times로의 클릭률이 93% 감소했습니다.
임원들은 이 상황을 모델의 성능과 웹 생태계 모두에 해를 끼치는 '파멸의 고리(doom loop)'라고 묘사했습니다.
Microsoft와 OpenAI의 경영진 모두 AI 제품이 게시자들에게 '실존적 위협'이라고 불렀으며, 이것이 단순히 변형적인 것이 아니라 **대체적(substitutive)**임을 인정했습니다.

이러한 진술들은 해당 기업들이 자신들의 모델이 원본 콘텐츠를 대체할 수 있음을 인지하고 있었음을 시사하며, 이는 공정 이용 주장에 반하는 핵심 요소입니다.

스크래핑 작업의 규모

문서들은 데이터 수집의 규모를 수치로 보여줍니다:

OpenAI의 학습 중간 데이터셋에서 New York Times, Daily News, Center for Investigative Reporting의 저작물 사본 91,692개 이상이 발견되었습니다.
Common Crawl에서 파생된 데이터셋에는 nytimes.com에서만 가져온 200만 개 이상의 문서가 포함되어 있었습니다.
Microsoft와 OpenAI의 공동 이니셔티브인 Project Mango는 뉴스 게시자들의 고유 저작물을 최소 160,903개 수집했습니다.
내부 메모 작성자인 Brent Hecht(Microsoft 응용 과학 이사)는 이 관행을 '전례 없는 규모의 놀라운 절도'라고 부르며 '인류 역사상 최대의 노동 절도'라고 명명했습니다.

페이월 우회에 사용된 방법

문서들은 페이월을 회피하기 위한 의도적인 기술적 작업을 설명합니다:

OpenAI 연구원들은 'NYT 페이월을 우회하기 위한 해킹'에 대해 논의했고, 이에 CEO Greg Brockman은 '아, 좋네'라고 답했습니다.
스크래핑은 Bing 인덱스와 Common Crawl을 통해 수행되었으며, 모델 출력물이 저작자 표시 텍스트를 재생산하지 못하도록 저작권 고지를 제거하는 과정이 뒤따랐습니다.
WebText 및 WebText2와 같은 학습 데이터셋은 스크래핑된 뉴스 콘텐츠에 크게 가중치를 두었습니다.

라이선싱 및 책임에 관한 임원 증언

Microsoft와 OpenAI 임원 모두 라이선싱의 필요성을 공개적으로 인정한 바 있습니다:

"페이월이 적용된 모든 콘텐츠는 그것을 사용하려는 누구든... 근거 마련이나 학습을 위해 라이선스를 받아야 합니다." – Satya Nadella, Microsoft CEO (증언).

Nadella는 또한 페이월 콘텐츠가 스크래핑되었다는 사실을 알았더라면 OpenAI에 모델을 재학습하도록 요구했을 것이라고 말했습니다.

OpenAI의 ChatGPT 책임자인 Nick Turley는 내부적으로 게시자들이 '실존적 위협'에 직면해 있으며 모델들이 '대체로 대체적(largely substitutive)'이라고 적었습니다.

게시자에 대한 경제적 영향

문서들은 수익 손실에 대한 구체적인 증거를 제공합니다:

Copilot의 답변 엔진은 기존 Bing 검색 대비 Times의 클릭률을 최대 **93%**까지 감소시켰습니다.
Microsoft의 내부 문서는 최종 제품이 콘텐츠 공급자의 경제적 기반을 위협하고 있기 때문에 이 상황을 '매우 이례적'이라고 불렀습니다.

이 수치들은 AI가 원본 저작물을 대체하지 않는다는 공정 이용 주장을 약화시키는 직접적인 시장 대체 효과를 보여줍니다.

법률 고문 및 업계의 반응

New York Daily News의 고문인 Steven Lieberman은 다음과 같이 말했습니다:

"여기서 처음으로 밝혀진 증거는 OpenAI와 Microsoft가 자신들이 하는 일이 잘못되었다는 것을 알고 있었음을 보여줍니다."

이 문서는 또한 이번 달 초 제출된 의견서를 통해 미국 정부가 공정 이용 방어 논리에서 OpenAI의 편을 들었음을 언급하며, 정부의 지원과 현재 기록된 내부 인정 사항 사이의 극명한 대조를 강조합니다.

Hacker News의 커뮤니티 관점

Hacker News의 토론은 다양한 관점을 반영합니다:

도덕적 분노: 사용자들은 스크래핑을 문화적 강탈에 비유하고 역사적 약탈과 비교합니다 (예: @jacquesm, @pianoben).
기술적 뉘앙스: 일부는 텍스트를 읽는 것이 절도가 아니라고 주장하며, 인간의 학습과 무한히 복제 가능한 AI 모델 간의 차이를 강조합니다 (예: @47282847, @heaney-555).
경제적 우려: 댓글들은 노동에 미치는 광범위한 영향과 AI가 창작자를 대체할 가능성에 주목합니다 (예: @tom2026hn, @leonidasrup).
정책 제안: AI 기업에 세금을 부과하거나, 모델 출력물에 로열티를 포함하거나, 모델을 공공 서비스 자산으로 만드는 등의 제안이 있습니다 (예: @AdamN, @bentt).

이러한 반응들은 AI 혁신과 창작자의 권리 사이에서 균형을 맞추는 방법에 대한 사회적 논쟁을 강조합니다.

향후 AI 개발에 미치는 영향

모델 학습에 사용되는 모든 페이월 콘텐츠에 대한 의무적 라이선싱.
게시자에게 입증된 트래픽 및 수익 손실에 근거한 잠재적 손해 배상.
AI 데이터 수집 관행에 대한 규제 강화 및 새로운 법안 제정 가능성.
더 투명한 데이터 파이프라인, 오픈 소스 데이터셋 또는 공공 서비스 모델 호스팅으로의 업계 전환.

결론

공개된 문서들은 페이월이 적용된 뉴스 콘텐츠를 스크래핑하고, 저작권 고지를 제거하며, 원본 게시자와 직접 경쟁하는 LLM을 학습시키려는 Microsoft와 OpenAI의 체계적이고 대규모적인 노력을 폭로합니다. 임원들 스스로가 이 관행을 '노동 절도'라고 명명했으며, 내부 지표는 Times의 심각한 트래픽 손실을 보여줍니다. 이러한 폭로는 기존의 공정 이용 방어 논리에 도전하며 생성형 AI의 법적 및 경제적 환경을 재편할 수 있습니다.