OpenAI 与 Google 合作,利用 SynthID 和 C2PA 打击 AI 生成的虚假信息
随着 AI 生成的图像变得与现实难以分辨,业界正竞相构建一套“溯源”(provenance)系统——一种数字纸质足迹,用于告知用户图像的来源及其创建方式。OpenAI 最近宣布了一项针对该问题的多层处理方案,通过整合 Google DeepMind 的 SynthID 水印技术和 C2PA 开放标准,创建一个更具韧性的合成内容识别系统。
溯源的多层处理方案
OpenAI 正在不再依赖单一的检测方法,因为他们意识到任何单一信号都可能被轻易剥离或绕过。他们的新策略采用了两个主要的识别层:
1. C2PA 一致性
OpenAI 已成为“C2PA Conforming Generator Product”。内容真实性联盟(C2PA)使用加密签名和元数据将溯源信息直接附加到文件中。这提供了详细的上下文信息——例如用于创建图像的工具——这对于做出完整性决策的记者和平台非常有用。
然而,元数据是脆弱的。它在上传到社交媒体平台时可能会丢失、被调整大小,或者被用户完全移除。这就是第二层的作用所在。
2. Google 的 SynthID 水印技术
为了补充 C2PA,OpenAI 正在整合 Google DeepMind 的 SynthID。与元数据不同,SynthID 将不可见水印直接嵌入到图像像素中。这使得信号更具耐用性;它旨在经受住通常会破坏元数据的转换过程,例如截图或文件格式更改。
通过结合这两者,OpenAI 旨在创建一个系统,其中 C2PA 提供详细的上下文,而 SynthID 在元数据被剥离时提供具有韧性的“最后一道防线”。
公众验证与检测
为了让这些信号对公众有用,OpenAI 正在预览一款公众验证工具。用户可以上传一张图像来检查它是否是由 ChatGPT、OpenAI API 或 Codex 生成的。该工具会同时检查 C2PA Content Credentials 和 SynthID 水印。
OpenAI 承认没有任何检测方法是万无一失的。如果未检测到任何信号,该工具不会做出确定性的结论,因为溯源信号可能已被有意或无意地剥离。
社区批评与技术怀疑论
虽然 AI 实验室将此举视为一项安全倡议,但 Hacker News 上的技术社区表达了显著的怀疑态度。讨论揭示了几个关键的漏洞和哲学层面的反对意见:
“移除”的军备竞赛
许多用户认为水印很容易被规避。一位用户 @himata4113 详细描述了一种通过掩盖像素并使用其他 AI 模型重新生成它们的方法来移除 SynthID 模式,并声称通过微调模型,此类水印可以被轻松移除。
其他批评者指出,恶意行为者——那些最有可能制造宣传品的人——将直接使用根本不实现这些水印的开源模型。正如 @julianozen 所指出的,“恶意行为者会创建不使用 synthID 的系统”。
隐私与“图像的 DRM"
一些用户将这些措施视为合成内容的一种数字权利管理(DRM)形式。@WhatIsDukkha 将此举描述为“表演性的废话”,质疑为什么像 Photoshop 这样的专业工具不被要求遵循相同的标准,并对这些标记是“并非由我选择的任意元数据”表示担忧。
战略动机
也有猜测认为这些举动并非纯粹为了公共安全。一些人认为,主要目标是 AI 公司防止其自身的模型在“AI slop”(合成数据)上进行训练——如果将这些数据反馈到未来的训练集中,可能会降低模型性能。
结论
OpenAI 采用 SynthID 和 C2PA 代表了向全行业内容溯源标准迈进的重要一步。然而,企业愿景中的“信任生态系统”与水印移除的技术现实之间的差距表明,这些工具将保持为次要防御手段。在溯源信息变得无处不在并集成到照相机和采集设备的硬件中之前,打击 AI 生成的虚假信息很可能仍将是一场艰苦的战斗。