OpenAI のテキスト信頼性と textGrain ワーターマーキング

OpenAI は、EU の AI 法に準拠するため、テキストの watermarking を段階的に導入すると発表しました。この法では、生成型 AI 提供者が AI 生成テキストを機械可読にするよう義務付けています。同社は、モデル出力に目に見えない統計信号を埋め込む新しい技術である textGrain を導入し、出力品質を維持したまま OpenAI 生成コンテンツを識別可能にする予定です。

実装戦略と展開

OpenAI は、地域とユーザー種別に基づく段階的なアプローチで watermarking を展開しています。

  • EU ユーザー: 今後数週間で、EU 内のユーザー向けに ChatGPT および Codex のテキスト出力に目に見えない watermark が追加されます。
  • API カスタマー: グローバルな API カスタマーは、特定のモデルに対して watermarking をオプトインできます。この機能はデフォルトではオフです。
  • クラウドパートナー: OpenAI はクラウドパートナーと協力し、今後数週間でそのサービス経由でアクセスされるモデル出力にも watermarking を拡張する予定です。

textGrain の技術的概要

textGrain は、モデルの単語選択に目に見えない統計信号を埋め込む watermarking 技術です。対応する検出器は、テキストを分析してその信号が存在するかどうかを判断します。

パフォーマンスと制限

OpenAI は、textGrain が SynthID for text を含む他の検証済みアプローチと同等またはそれ以上のパフォーマンスを発揮したと報告しています。しかし、同社は検出の信頼性に関するいくつかの重要な制限を強調しています。

  • テキスト長と制約: 検出は長文でより効果的です。1% の偽陽性率で、400トークンの文章では約95%の水紋が検出されましたが、200トークンの文章では80%にまで低下しました(心理学コンテンツを対象)。数学など語彙選択の自由度が制限されたコンテンツでは、検出率は大幅に低下します。
  • 編集への感受性: テキストの編集は水紋信号を劣化させます。400トークンの文章の評価では、10%の単語を同義語に置き換えると検出率が92%から66%に低下し、25%を置き換えると17%まで低下しました。

モデル品質への影響

Astra frontier モデルを用いた評価では、watermarking を有効にしても有意なパフォーマンス低下は見られませんでした。ベンチマークは以下の通りです。

ベンチマーク 非水紋(Astra、max) 水紋(Astra、max)
Artificial Analysis Intelligence Index 49.57 49.76
AutomationBench 34.09% 34.86%
DeepSWE v1.1 72.80% 71.68%
Terminal-Bench 4.0 53.90% 56.06%
Terminal-Bench Science 0.1 56.90% 60.00%
BrowseComp 87.92% 87.35%
HealthBench Professional 64.27% 64.60%
GPQA Diamond 94.44% 93.94%

検出器のアクセスとガバナンス

偽陽性や水紋の見逃しのリスクがあるため、OpenAI は初期段階でテキスト watermark 検出器を一般公開しません。アクセスは、技術の評価と改善を支援する承認済みの研究者および専門機関に限定されています。

テキスト watermark の解釈上の限界

OpenAI は、検出結果がテキストの起源を完全に示すものではないと強調しています。特に、watermark は以下の点を示しません。

  • 人的貢献の測定ではない: 人的編集や創造性の程度を測定できません。
  • 所有権の確立ではない: 法的所有権、合法的な使用、コンテンツに対する責任を決定するものではありません。
  • ユーザーの特定ではない: テキストを特定の人物、アカウント、またはプロンプトと関連付けるものではありません。
  • 正確性の検証ではない: テキストが真実か有害かを示すものではありません。
  • 人間の著作者性の証明ではない: watermark が存在しない場合、テキストが人間によって書かれたと保証するものではありません。短すぎる、編集されている、またはサポートされていないモデルで生成された可能性があるためです。

より広範なコンテンツ信頼性フレームワーク

テキスト watermarking は、層状の信頼性戦略の一部です。OpenAI は、画像に対して C2PA準拠のコンテンツ資格証明を活用し、画像および音声に対して SynthID の目に見えない watermark を使用しています。これらは Content Provenance API および openai.com/verify を通じて検証されます。この多層的なアプローチは、オープンスタンダードと耐久性のある watermarking を組み合わせ、プラットフォームやユーザーが AI 生成コンテンツを識別できるようにし、特に deepfake の拡散を緩和することを目的としています。

Sources