OpenAI 콘텐츠 출처 및 진위성 이니셔티브

OpenAI는 기만적인 AI 생성 미디어에 대응하기 위해 다층적인 콘텐츠 출처 접근 방식을 구현하고 있습니다

OpenAI는 C2PA 운영 위원회에 참여했으며, 시청각 콘텐츠의 출처에 대한 투명성을 제공하기 위해 내부 탐지 도구를 개발하고 있습니다. 이러한 노력은 개방형 산업 표준과 독점 기술 솔루션을 결합하여 사용자가 디지털 콘텐츠가 OpenAI 도구를 사용해 생성되었는지 또는 편집되었는지를 확인할 수 있도록 돕습니다.

C2PA 개방 표준 채택

OpenAI는 디지털 콘텐츠 인증에 널리 사용되는 표준인 콘텐츠 출처 및 진위성 연합(C2PA)의 운영 위원회에 참여했습니다. 이 표준은 제작자와 플랫폼이 디지털 콘텐츠의 출처를 증명할 수 있게 하며, 이는 원시 카메라 출력이든 AI 생성 이미지든 관계없이 적용됩니다.

DALL-E 3 및 Sora 적용

OpenAI는 ChatGPT와 OpenAI API를 통해 DALL-E 3으로 생성·편집된 모든 이미지에 C2PA 메타데이터를 통합했습니다. 이 메타데이터는 사용된 도구(예: OpenAI의 DALL‑E)와 수행된 작업(예: 포맷 변환 또는 편집) 등을 포함해 이미지의 이력을 추적합니다. 또한 OpenAI는 Sora 비디오 생성 모델이 본격 출시될 때 C2PA 메타데이터를 통합할 것을 약속했습니다.

사회 회복력 기금

출처 표준의 채택과 이해를 촉진하기 위해 OpenAI와 Microsoft는 200만 달러 규모의 사회 회복력 기금을 출범했습니다. 이 기금은 Partnership on AI, International IDEA, AARP의 Older Adults Technology Services와 같은 기관을 통해 AI 교육을 지원합니다.

독점 탐지 및 워터마킹 도구

OpenAI는 표준 메타데이터보다 제거에 더 강인하도록 설계된 내부 출처 방식을 개발하고 있습니다.

DALL‑E 3 이미지 탐지 분류기

OpenAI는 연구실 및 저널리즘 비영리 단체가 이미지 탐지 분류기를 테스트할 수 있도록 연구자 접근 프로그램을 시작했습니다. 이 도구는 이미지가 DALL‑E 3에 의해 생성되었을 가능성을 예측합니다. 내부 테스트 결과는 다음과 같은 성능 지표를 보여줍니다:

• 정확도: DALL‑E 3 이미지의 약 98%를 정확히 식별합니다.
• 오탐: AI가 생성하지 않은 이미지 중 약 0.5% 미만이 잘못 DALL‑E 3 이미지로 표시됩니다.
• 견고성: 자르기, 압축, 채도 변경 등 일반적인 수정에도 성능을 유지합니다.
• 제한점: 다른 AI 모델이 생성한 이미지와 구분할 때 성능이 낮아, 다른 모델의 이미지 중 5‑10%가 DALL‑E 3 이미지로 잘못 표시됩니다.

오디오 워터마킹

OpenAI는 현재 제한된 연구 프리뷰 단계에 있는 맞춤형 음성 모델 Voice Engine에 변조 방지 오디오 워터마킹을 적용했습니다. 이는 오디오에 눈에 보이지 않는 신호를 삽입하여 제거하기 어렵게 만드는 방식을 의미합니다.

텍스트 출처 연구

OpenAI는 인지된 위험이 높은 시청각 콘텐츠를 우선적으로 다루고 있지만, 텍스트 출처 솔루션도 활발히 연구하고 있습니다. 현재 발견된 내용은 다음과 같습니다:

텍스트 워터마킹

OpenAI는 국부적인 변조(예: 패러프레이징)에는 효과적이지만 전역적인 변조에는 취약한 텍스트 워터마킹 방법을 개발했습니다. 번역 시스템 사용, 다른 생성 모델로 재작성, 특수 문자 삽입·삭제와 같은 방법으로 워터마크를 우회할 수 있습니다.

또한 연구에 따르면 텍스트 워터마킹은 AI를 글쓰기 도구로 사용하는 것을 낙인찍음으로써 비원어민 영어 사용자에게 불균형적인 영향을 미칠 수 있습니다.

텍스트 메타데이터

OpenAI는 텍스트에 대한 암호 서명된 메타데이터 활용을 탐색하고 있습니다. 메타데이터가 서명되어 있기 때문에 오탐을 없앨 수 있으며, 이는 AI 생성 텍스트 양이 증가함에 따라 중요해질 것으로 예상됩니다.