情報操作キャンペーンにおける言語モデルの悪用予測
OpenAIは、ジョージタウン大学のセンター・フォー・セキュリティ・アンド・エマージング・テクノロジーとスタンフォード・インターネット・オブザーバトリーと協力し、大規模言語モデル（LLM）が情報操作キャンペーンで悪用される可能性を調査した報告書を発表しました。研究は、LLMがコストを削減し、欺瞞的コンテンツの規模と説得力を高めることで、オンラインの影響作戦を変革する可能性が高いと結論付けています。
LLMが影響作戦に与える影響
大規模言語モデルは、影響作戦の3つの主要要素であるアクター、行動、コンテンツを変える可能性があります。
アクター
LLMは、影響作戦を実行するための財政的・技術的参入障壁を下げる可能性があります。これにより新たなタイプのアクターが参入でき、テキスト生成を自動化できる「雇用型プロパガンダ業者」に競争上の優位性がもたらされます。
行動
LLMを活用することで影響作戦の規模を拡大でき、高度にパーソナライズされたコンテンツ生成といった高コストの戦術を大幅に安価にできます。さらに、LLMはリアルタイムでコンテンツを生成するチャットボットの利用など、新たな戦術を可能にします。
コンテンツ
LLMは、人間のプロパガンダ担当者よりも説得力やインパクトのあるメッセージを生成でき、特に対象となるオーディエンスの文化的・言語的知識が不足している場合に有効です。さらに、LLMは継続的にユニークなコンテンツを生成できるため、手作業のキャンペーンで時間を節約するために用いられる繰り返しのコピーペーストパターンを回避し、検出が困難になります。
AI活用情報操作における重要な未知数
指摘されたリスクにもかかわらず、いくつかの変数は依然として不明であり、脅威の実際の規模を判断するためにさらなる研究が必要です。
- エマージェント・ケイパビリティ: 善意の商業的または研究的投資のうち、どれが意図せず影響作戦の新たな能力を生み出すでしょうか？
- アクターの投資: どの特定のアクターがLLM技術に最も多く投資するでしょうか？
- ツールの利用可能性: 使いやすいテキスト生成ツツールがいつ公開され、影響作戦向けの専門モデルは汎用モデルよりも効果的になるでしょうか？
- 規範と意図: 社会的または政治的規範がAIの影響作戦利用を抑止する方向に発展するでしょうか？
対策のための4段階フレームワーク
これらの脅威に対処するため、報告書は影響作戦を妨害できる4つの段階を特定したパイプラインフレームワークを提示しています。
| パイプラインの段階 | 具体的な対策例 |
|---|---|
| 1. モデル構築 | 事実感知型モデルの構築；モデルを検出可能にする「放射性データ」の拡散；政府によるデータ収集やAIハードウェアへのアクセス制限。 |
| 2. モデルアクセス | 使用制限の強化；モデル公開に関する新たな規範の策定；セキュリティ脆弱性の修正。 |
| 3. コンテンツ配信 | プラットフォームとAIプロバイダーが連携しAIコンテンツを特定；投稿時に「本人証明」の提示を要求；デジタル出所証明標準の採用。 |
| 4. 信念形成 | メディアリテラシーキャンペーンへの参加；ユーザーが誤情報を識別できるようにする消費者向けAIツールの提供。 |
対策の望ましさの評価
報告書は、対策が存在するだけでは必ずしも望ましいとは限らないことを強調しています。政策立案者や開発者は、以下の4つの指針質問を用いて潜在的な介入策を評価すべきです。
- 技術的実現可能性: 対策は既存の技術インフラに大幅な変更を必要としますか？
- 社会的実現可能性: 現行の法規制の下で対策は実行可能か、主要なアクターが実施するインセンティブがあるか？
- リスク（副作用）: 対策による潜在的な負の影響は何ですか？
- インパクト: 提案された対策は脅威を実際にどれだけ削減できるでしょうか？
高度なモデルがプライベートに保たれるかAPIで制限されるかに関わらず、研究者はプロパガンダ業者がオープンソースの代替手段を利用するか、国家が独自の内部能力を開発すると予測しています。
OpenAI、ジョージタウン大学、スタンフォード・インターネット・オブザーバトリーは、大規模言語モデルが情報操作キャンペーンのコストを削減し規模を拡大させる可能性を分析し、対策のための4段階フレームワークを提案した報告書を発表しました。
情報操作キャンペーンにおける言語モデルの悪用予測