OpenAI Sora 2 と Sora アプリの安全フレームワーク

OpenAIはSora 2とSoraアプリをリリースし、高忠実度の動画生成と共同作成環境を統合しました。高リアリティの動画や音声に伴うリスクを管理するため、OpenAIは出所、同意、コンテンツフィルタリングに焦点を当てた多層的な安全アーキテクチャを実装しています。

AIコンテンツの出所と識別

Sora 2は、可視および不可視のシグナルを用いてAI生成コンテンツと実際の映像を区別します。すべての出力には起動時に可視のウォーターマークが含まれます。技術的な出所については、Soraは業界標準の署名であるC2PAメタデータをすべての動画に埋め込みます。さらに、OpenAIは内部の逆画像検索および音声検索ツールを維持し、動画を高精度でSoraシステムに遡って追跡できるようにしており、これはChatGPTの画像生成やSora 1で使用されたシステムを基にしています。

同意に基づくキャラクターの似姿

OpenAIはユーザーが自分の似姿を管理できるキャラクターフィーチャーを導入しました。このフレームワークは、キャラクターに取り込まれた音声や画像の似姿がユーザーの同意のもとでのみ使用されることを保証するよう設計されています。主な制御項目は以下の通りです：

アクセス管理: ユーザーは自分のキャラクターを誰が使用できるかを決定し、いつでもアクセスを取り消すことができます。
可視性: ユーザーは自分のキャラクターが登場するすべての動画（他者が作成したドラフトを含む）を閲覧でき、レビュー、削除、または報告が可能です。
行動設定: ユーザーはキャラクターの振る舞いに関する具体的な好みを設定できます（例：キャラクターが常に特定の服装を着用することを要求する）。
公人保護: Soraは公人の描写をブロックしますが、当該人物がキャラクターフィーチャーを使用している場合は除外されます。

ティーンユーザー向けの保護策

Soraは若年ユーザーが成熟したコンテンツにさらされることや望まれないやり取りを防ぐため、特定の保護策を設けています。これらの対策は以下の通りです：

コンテンツフィルタリング: フィードはティーンに適した内容になるよう設計されており、ティーンのプロフィールは大人に推奨されません。
コミュニケーション制限: 大人がティーンに対してメッセージを開始することは禁止されています。
ペアレンタルコントロール: ChatGPTの新機能により、保護者はティーン向けのダイレクトメッセージを管理し、Soraアプリ内で非パーソナライズドフィードを選択できます。
使用制限: ティーンはアプリ内での連続スクロールにデフォルトの制限が設定されています。

コンテンツフィルタリングとハームリダクション

Soraは、生成段階と配信段階の両方で安全でないコンテンツをブロックするために多層防御を採用しています。ガードレールは、複数の動画フレームと音声文字起こしにわたってプロンプトと出力をチェックし、性的素材、テロ宣伝、自己傷害の促進をブロックします。

Soraのリアリズム、動き、音声機能がリスクを高めるため、OpenAIは画像生成ツールに比べてポリシーを強化しました。生成段階を超えて、自動システムが全フィードコンテンツをグローバル使用ポリシーと照合し、安全でないまたは年齢に不適切な素材をフィルタリングします。これらの自動システムは、重大なハームに対しては人間によるレビューで補完されます。

音声と音楽の安全性

音声生成に伴うリスクに対処するため、Soraは生成された音声の文字起こしを自動的にスキャンし、ポリシー違反を検出します。知的財産とアーティストの権利を保護するため、Soraは在籍アーティストや既存作品を模倣する音楽の生成をブロックします。OpenAIは、Soraの出力が自分の作品を侵害していると考えるクリエイターからの削除要請に応じます。

ユーザーのコントロールと救済手段

ユーザーは共有コンテンツとやり取りを管理し続けます。動画はユーザーの選択によりフィードに共有され、公開されたコンテンツはいつでも削除可能です。ユーザーは動画、プロフィール、コメントのいずれかを虐待目的で報告でき、アカウントをブロックして他者が自分のプロフィールを見ることやダイレクトメッセージで連絡することを防げます。