OpenAIとGoogle、SynthIDとC2PAを活用してAI生成による誤情報の拡散防止に協力

AI生成された画像が現実と区別がつかなくなっている中、業界は「プロバナンス（来歴）」、つまり画像がどこから来てどのように作成されたかをユーザーに伝えるデジタル的な足跡を構築するための競争を繰り広げています。OpenAIは最近、この問題に対する多層的なアプローチを発表しました。Google DeepMindのSynthIDウォーターマーキングとC2PAオープン標準を統合することで、合成コンテンツを識別するためのより弾力性のあるシステムを構築しようとしています。

プロバナンスへの多層的なアプローチ

OpenAIは、単一の検出方法に頼ることから脱却しようとしています。単一のシグナルは容易に剥ぎ取られたり回避されたりする可能性があることを認識しているためです。彼らの新しい戦略は、主に2つの識別レイヤーを採用しています。

1. C2PA準拠

OpenAIは「C2PA Conforming Generator Product」となりました。Content Provenance and Authenticity（C2PA）は、暗号署名とメタデータを使用して、ファイルに直接プロバナンス情報を付加します。これにより、画像作成に使用されたツールなどの詳細なコンテキストを提供し、これは完全性を判断するジャーナリストやプラットフォームにとって有用です。

しかし、メタデータは脆弱です。ソーシャルメディアプラットフォームへの単純なアップロード、リサイズ、またはユーザーによる完全な削除によって失われる可能性があります。そこで、2番目のレイヤーが登場します。

2. GoogleのSynthIDウォーターマーキング

C2PAを補完するために、OpenAIはGoogle DeepMindのSynthIDを統合しています。メタデータとは異なり、SynthIDは目に見えないウォーターマークを画像のピクセルに直接埋め込みます。これにより、シグナルはより耐久性が高くなります。スクリーンショットやファイル形式の変更など、通常はメタデータを破壊してしまうような変換を生き延びるように設計されています。

これら2つを組み合わせることで、OpenAIは、C2PAが詳細なコンテキストを提供し、SynthIDがメタデータが剥ぎ取られた際の「最後の防衛線」として機能するシステムを目指しています。

公開検証と検出

これらのシグナルを一般市民が活用できるようにするため、OpenAIは公開検証ツールをプレビュー公開しています。ユーザーは、ChatGPT、OpenAI API、またはCodexによって生成されたものかどうかを確認するために画像をアップロードできます。このツールは、C2PA Content CredentialsとSynthIDウォーターマークの両方をチェックします。

OpenAIは、いかなる検出方法も万全ではないことを認めています。プロバナンス・シグナルが意図的または偶発的に剥ぎ取られた場合、ツールは決定的な結論を下さないように設計されています。

コミュニティの批判と技術的な懐疑論

AI研究機関がこれを安全性のための取り組みとして提示している一方で、Hacker Newsの技術コミュニティは大きな懐疑論を示しています。議論では、いくつかの重要な脆弱性と哲学的な異議が明らかになっています。

除去の「軍拡競争」

多くのユーザーは、ウォーターマークは容易に回避できると主張しています。あるユーザー、@himata4113は、ピクセルをマスクして他のAIモデルを使用してそれらを再生成することでSynthIDのパターンを消去する方法を詳細に説明しており、微調整されたモデルを使用すれば、そのようなウォーターマークは容易に除去できると主張しています。

他の批判者は、プロパガンダを作成する可能性が最も高い悪意のあるアクターが、そもそもこれらのウォーターマークを実装していないオープンソースモデルを単に利用するだろうと指摘しています。@julianozenが指摘したように、「悪意のあるアクターは、SynthIDを使用しないシステムを作成するだろう」ということです。

プライバシーと「画像のためのDRM」

一部のユーザーは、これらの措置を一種の合成コンテンツのためのデジタル権利管理（DRM）と見るています。@WhatIsDukkhaは、この動きを「見せかけの無意味な行為（performative nonsense）」と表現し、なぜPhotoshopのようなプロフェッショナルなツールが同じ基準を適用されるべきではないのかと疑問を視覚化し、これらのマーカーが「自分の選択ではない勝手なメタデータ」であるという懸念を晴らしませんでした。

戦略的動機

これらの一連の動きは、純粋に公共の安全のためだけではないという推測もあります。一部の者は、AI企業が自らのモデルを「AI slop（AIによる低品質なコンテンツ）」、つまり将来のトレーニングセットにフィードバックされるとモデルの性能を低下させる可能性がある合成データによって、自らのモデルをトレーニングすることによる影響を防御するための主な目的であると示唆しています。

結論

OpenAIのSynthIDとC2PAの採用は、コンテンツのプロバナンス・シグナルを検出するための業界全体の標準に向けた重要な一歩です。しかし、「信頼のエコシステム」という企業のビジョンジョンと、ウォーターマークの除去という技術的な現実との間のギャップは、これらのツールが二次的な防御策に留まることを示唆しています。プロバナンスが遍在的で、カメラやキャプチャデバイスのハードウェアに統合されるまでは、AI生成による誤情報の拡散防止との戦いは、おそらく困難な道のりとなるでしょう。n