OpenAI 텍스트 출처 추적 및 textGrain 워터마킹
OpenAI는 생성형 AI 제공업체가 AI 생성 텍스트를 기계 판독 가능하게 만들도록 요구하는 EU AI Act를 준수하기 위해 텍스트 워터마킹의 단계적 출시를 발표했습니다. 이 회사는 모델 출력에 보이지 않는 통계적 신호를 추가하여 출력 품질을 유지하면서 OpenAI 생성 콘텐츠를 식별할 수 있도록 하는 textGrain이라는 새로운 기술을 도입하고 있습니다.
구현 전략 및 출시
OpenAI는 지역 및 사용자 유형에 따라 계층적 접근 방식을 통해 텍스트 워터마킹을 배포하고 있습니다.
- EU 사용자: 향후 몇 주 안에 유럽 연합 내 사용자를 위한 적격 ChatGPT 및 Codex 텍스트 출력에 보이지 않는 워터마크가 추가됩니다.
- API 고객: 글로벌 API 고객은 이제 특정 모델에 대해 텍스트 워터마킹을 선택할 수 있습니다. 이 기능은 기본적으로 꺼져 있습니다.
- 클라우드 파트너: OpenAI는 클라우드 파트너와 협력하여 향후 몇 주 안에 해당 서비스를 통해 액세스되는 모델 출력에도 워터마킹을 확장하고 있습니다.
textGrain 기술 개요
textGrain은 모델의 단어 선택에 보이지 않는 통계적 신호를 삽입하는 워터마킹 기술입니다. 그런 다음 해당 감지기가 텍스트를 분석하여 해당 신호가 있는지 확인합니다.
성능 및 한계
OpenAI는 textGrain이 텍스트용 SynthID를 포함한 다른 테스트된 접근 방식의 성능과 일치하거나 능가한다고 보고합니다. 그러나 이 회사는 감지 신뢰성에 몇 가지 중요한 한계를 강조합니다.
- 텍스트 길이 및 제약: 감지는 더 긴 구절에서 더 효과적입니다. 1% 오탐률에서 감지기는 400토큰 구절의 약 95%에서 워터마크를 식별했지만 200토큰 구절(심리학 콘텐츠 사용)에서는 약 80%만 식별했습니다. 단어 선택 유연성이 제한된 수학과 같은 제약된 콘텐츠의 경우 감지율이 상당히 낮습니다.
- 편집 민감성: 텍스트를 수정하면 워터마크 신호가 저하될 수 있습니다. 400토큰 구절 평가에서 단어의 10%를 동의어로 바꾸면 감지율이 92%에서 66%로 감소했고, 단어의 25%를 바꾸면 17%로 감소했습니다.
모델 품질에 미치는 영향
Astra 프론티어 모델을 사용한 평가에서는 워터마킹을 활성화해도 의미 있는 성능 저하가 나타나지 않습니다. 벤치마크는 다음과 같습니다.
| 벤치마크 | 워터마크 없음 (Astra, max) | 워터마크 있음 (Astra, max) |
|---|---|---|
| Artificial Analysis Intelligence Index | 49.57 | 49.76 |
| AutomationBench | 34.09% | 34.86% |
| DeepSWE v1.1 | 72.80% | 71.68% |
| Terminal-Bench 4.0 | 53.90% | 56.06% |
| Terminal-Bench Science 0.1 | 56.90% | 60.00% |
| BrowseComp | 87.92% | 87.35% |
| HealthBench Professional | 64.27% | 64.60% |
| GPQA Diamond | 94.44% | 93.94% |
감지기 액세스 및 거버넌스
오탐 및 누락된 워터마크의 위험으로 인해 OpenAI는 출시 시 텍스트 워터마크 감지기를 공개적으로 제공하지 않습니다. 현재 액세스는 기술 평가 및 개선을 돕기 위해 승인된 연구원 및 전문가 조직으로 제한됩니다.
텍스트 워터마크의 해석적 한계
OpenAI는 감지 결과가 텍스트 출처에 대한 완전한 그림을 제공하지 않는다고 강조합니다. 구체적으로 워터마크는 다음과 같습니다.
- 인간 기여도를 측정하지 않음: 인간의 편집 또는 창의성의 양을 정량화할 수 없습니다.
- 소유권을 설정하지 않음: 콘텐츠에 대한 법적 소유권, 합법적 사용 또는 책임을 결정하지 않습니다.
- 사용자를 식별하지 않음: 텍스트를 특정 개인, 계정 또는 프롬프트와 연결하지 않습니다.
- 정확성을 검증하지 않음: 텍스트가 사실인지 유해한지 여부를 나타내지 않습니다.
- 부재 시 인간 저작을 증명하지 않음: 워터마크가 없다고 해서 텍스트가 인간이 작성했음을 보장하지 않습니다. 너무 짧거나, 편집되었거나, 지원되지 않는 모델에 의해 생성되었을 수 있기 때문입니다.
광범위한 콘텐츠 출처 추적 프레임워크
텍스트 워터마킹은 계층적 출처 추적 전략의 일부입니다. OpenAI는 이미지에 C2PA 표준을 준수하는 콘텐츠 자격 증명을 사용하고 있으며, 이미지 및 오디오에는 SynthID 보이지 않는 워터마크를 사용하며, 이는 콘텐츠 출처 API 및 openai.com/verify를 통해 검증됩니다. 이 다층적 접근 방식은 개방형 표준과 지속적인 워터마킹을 결합하여 플랫폼과 사용자가 AI 생성 콘텐츠를 식별하고, 특히 딥페이크 확산을 완화하는 데 도움을 줍니다.