OpenAI와 Google, SynthID 및 C2PA를 통해 AI 생성 허위 정보와 싸우기 위해 협력
AI 생성 이미지가 현실과 구별할 수 없을 정도로 정교해짐에 따라, 업계는 이미지가 어디에서 왔고 어떻게 생성되었는지 사용자에게 알려주는 디지털 기록인 "provenance"(출처) 시스템을 구축하기 위해 경쟁하고 있습니다. OpenAI는 최근 Google DeepMind의 SynthID 워터마킹과 C2PA 오픈 표준을 통합하여 합성 콘텐츠를 식별하기 위한 더욱 탄력적인 시스템을 구축하는 다층적 접근 방식을 발표했습니다.
출처(Provenance)에 대한 다층적 접근 방식
OpenAI는 단일 탐지 방법만으로는 쉽게 제거되거나 우회될 수 있다는 점을 인식하고, 단일 신호에 의존하는 방식에서 벗어나고 있습니다. 그들의 새로운 전략은 두 가지 주요 식별 계층을 채택합니다:
1. C2PA 준수
OpenAI는 "C2PA Conforming Generator Product"가 되었습니다. Coalition for Content Provenance and Authenticity (C2PA)는 암호화 서명과 메타데이터를 사용하여 파일에 출처 정보를 직접 첨부합니다. 이는 저널리스트와 무결성 결정을 내리는 플랫폼에 유용한 이미지 생성 도구와 같은 상세한 컨텍스트를 제공합니다.
하지만 메타데이터는 취약합니다. 소셜 미디어 플랫폼에 업로드하거나, 크기를 조정하거나, 사용자가 완전히 제거할 수 있습니다.
2. Google의 SynthID 워터마킹
C2PA를 보완하기 위해 OpenAI는 Google DeepMind의 SynthID를 통합합니다. 메타데이터와 달리 SynthID는 이미지 픽셀에 보이지 않는 워터마크를 직접 삽입합니다. 이는 신호를 더욱 내구성 있게 만듭니다. 스크린샷이나 파일 형식 변경과 같이 일반적으로 메타데이터를 파괴하는 변환 과정에서도 살아남도록 설계되었습니다.
이 두 가지를 결합함으로써, OpenAI는 C2PA가 상세한 컨텍스트를 제공하고, SynthID가 메타데이터가 제거되었을 때 탄력적인 "최후의 방어선" 역할을 하는 시스템을 구축하는 것을 목표로 합니다.
공개 검증 및 탐지
이러한 신호들을 일반 대중이 유용하게 사용할 수 있도록, OpenAI는 공개 검증 도구를 미리 선보이고 있습니다. 사용자는 이미지를 업로드하여 ChatGPT, OpenAI API, 또는 Codex로 생성되었는지 확인할 수 있습니다. 이 도구는 C2PA Content Credentials와 SynthID 워터마크를 모두 확인합니다.
OpenAI는 어떤 탐지 방법도 완벽할 수 없음을 인정합니다. 만약 신호가 탐지되지 않는다면, 출처 신호가 의도적 또는 실수로 제거되었을 수 있기 때문에 도구는 확정적인 결론을 내리지 않을 것입니다.
커뮤니티 비판 및 기술적 회의론
AI 연구소들이 이를 안전성 이니셔티브로 제시하고 있는 반면, Hacker News의 기술 커뮤니티는 상당한 회의론을 표명하고 있습니다. 논의 과정에서 몇 가지 중요한 취약점과 철학적 반론이 드러났습니다:
제거의 "전쟁"
많은 사용자는 워터마크가 쉽게 우회될 수 있다고 주장합니다. 한 사용자, @himata4113는 픽셀을 마스킹하고 다른 AI 모델을 사용하여 재생성함으로써 SynthID 패턴을 제거하는 방법을 상세히 설명하며, 미세 조정된 모델을 사용하면 이러한 워터마크를 쉽게 제거할 수 있다고 주장했습니다.
다른 비판가들은 선전 활동을 할 가능성이 가장 높은 악의적인 행위자들이, 애초에 이러한 워터마크를 구현하지 않는 오픈 소스 모델을 사용할 것이라고 지적합니다. @julianozen이 언급했듯이, "악의적인 행위자들은 synthID를 사용하지 않는 시스템을 만들 것입니다."
개인정보 보호 및 "이미지용 DRM"
어떤 사용자들은 이러한 조치를치를 as a form of digital rights management (DRM)로 봅니다. @WhatIsDukkha는 이 움직임을 "performative nonsense"(보여주기식 헛소리)라고 묘사하며, 왜 Photoshop 같은 전문적인 도구들이 동일한 표준을 적용받지 않는지 질문하고, 이러한 마커들이 "내가 선택하지 않은 임의의 메타데이터"라는 우려를를 표했습니다.
전략적 동기
또한 이러한 움직임이 순순히 공공 안전을 위한 것이 아니라는 추측도 있습니다. 일부는 주요 목표가 AI 기업들이 자신의 모델이 "AI slop"(AI가 생성한 저질질 데이터)로 학습하는 것을 방지하는 데 있다고 제안합니다. 이는 미래의 학습 세트에 피드백되어 미래 모델의 성능을 degrade를 시키는 합성 데이터입니다.
결론
OpenAI의 SynthID 및 C2PA 채택은 콘텐츠 출처에 대한 업계 전반의 표준을 구축하는 중요한 단계입니다. Trust ecosystem(신뢰할 수 있는 생태계)에 대한 기업의 비전전과 기술적 현실인 워터마크 제거 가능성 사이의 간격격은 이러한 도구들이 보조적 방어선으로 남을 것임을 시사합니다. 출처(provenance) 정보가 어디에나 존재하고 카메라와 캡처 장치의 하드웨어에 통합될 때까지, AI 생성 허위 정보와의 싸움움은 아마도 험난한 여정로이 될 것입니다.