OpenAI Sora システムカード

Soraは拡散トランスフォーマービデオ生成モデル

Soraは、テキスト、画像、ビデオの入力を新しいビデオ出力に変換するビデオ生成モデルです。1080pまでの解像度と最大20秒の期間をサポートします。このモデルはストーリーテリングと創造的表現のために設計されており、ユーザーはテキストからコンテンツを生成したり、既存のアセットを強化・リミックスすることができます。

技術的には、Soraは静止ノイズから始めて徐々に除去することでビデオを生成する拡散モデルアプローチを採用しています。トランスフォーマーアーキテクチャを使用しており、GPTモデルと同様の優れたスケーリング性能を提供します。ユーザーの指示への従順性を向上させるため、SoraはDALL·E 3のリカプション技術を使用し、視覚的トレーニングデータに対して高度に説明的なキャプションを生成します。

コア機能

Soraはいくつかの生成および変更モードを提供します：

Text-to-Video: テキスト指示のみからビデオを生成
Image-to-Video: 詳細に注意を払いながら静止画をアニメーション化
Video-to-Video: 既存のビデオを延長または欠落しているフレームを埋める
Creative Tools: ユーザーはストーリーボード、リカット、リミックス、ブレンドツールを使用してコンテンツを変更できます。

OpenAIは、Soraが現実世界を理解しシミュレートできるモデルの基盤となると述べており、これは人工一般知能（AGI）の達成へのマイルストーンと見なしています。

セーフティ軽減策とレッドチーム

OpenAIは、肖像の悪用、誤情報、露骨なコンテンツの生成などのリスクを軽減するため、多層的なセーフティスタックを実装しました。このスタックには、トレーニング開始前にデータセットから露骨、暴力的、またはセンシティブなコンテンツを削除するプリトレーニングフィルタリングが含まれます。

外部レッドチームの取り組み

2024年9月から12月にかけて、OpenAIは9か国の外部レッドチーマーと協力しました。これらのテスターは、安全軽減策の弱点を特定するために15,000回以上の生成を実施しました。主な発見は以下の通りです：

Safeguard Evasion: レッドチーマーは、医療またはSF/ファンタジー設定を使用すると、エロティックおよび性的コンテンツに対するセーフガードが低下する可能性があることを発見しました。
Adversarial Tactics: テスターは示唆的なプロンプト、メタファー、およびジェイルブレイク技術を使用して拒否を回避しました。一部は、シングルプロンプト生成をシードメディアとして使用し、テキストだけでは作成できない違反コンテンツを開発しました。
Tool Exploitation: テストにより、変更ツール（ストーリーボード、リカット、リミックス、ブレンド）およびメディアアップロードが入力および出力フィルタリングを回避するために使用されることが明らかになり、より強力な分類器フィルタリングが必要となりました。

準備フレームワークによるリスク評価

準備フレームワークを使用して、OpenAIは説得、サイバーセキュリティ、CBRN（化学、生物、放射線、核）、およびモデル自律性の4つのカテゴリでSoraを評価しました。OpenAIは、これらがSoraの現在の範囲を超えているため、サイバーセキュリティ、CBRN、またはモデル自律性において重大なリスクの証拠を見つけませんでした。ただし、Soraは説得カテゴリにおいてなりすまし、誤情報、およびソーシャルエンジニアリングに関連する潜在的なリスクを抱えています。

Soraセーフティスタック

特定されたリスクに対処するため、OpenAIはユーザーが出力を確認する前に複数のモデレーションとフィルタリングの層を使用します：

Multi-modal Moderation Classifier: このシステムは、外部Moderation APIを介して違反するテキスト、画像、またはビデオプロンプトおよび出力を特定します。
Custom LLM Filtering: ビデオ生成は非同期で数秒かかるため、OpenAIはカスタマイズされたGPTを使用して、欺瞞および第三者コンテンツを含む特定のトピックに対する高精度のモデレーションチェックを実行します。
Image Output Classifiers: 特殊フィルターは、ユーザーに共有される前に、NSFWコンテンツ、未成年者、暴力、または肖像の悪用を含むビデオをブロックします。
Textual Blocklists: モデルは、DALL·E 2およびDALL·E 3の開発に基づいたブロックリストを使用します。
Provenance Tools: 誤情報に対抗するため、OpenAIはメタデータ、ウォーターマーク、およびフィンガープリントを含む多層的アプローチを使用します。

未成年者および人物向けの専門的保護

OpenAIは、児童性虐待物資（CSAM）の生成および肖像の悪用を防止するため、厳格な保護を実装しています：

児童の安全

Soraは児童の安全のために3つの主要な入力軽減策を利用しています：

CSAM Detection: Thornの「Safer」との統合により、既知のCSAMハッシュを検出し、新しいコンテンツに対するCSAM分類器を使用します。一致したものはNCMECに報告されます。
Multi-modal Moderation: 未成年者に関わる性的コンテンツをテキスト、画像、およびビデオ入力全体で検出する分類器。
Under-18 Classifier: 子供の現実的な画像を拒否する専門の分類器。非性的な架空の画像（アニメまたはスケッチスタイル）は許可されますが、現実的な子供の画像は拒否されます。OpenAIは、これらのモデルが年齢予測において人種バイアスを示す可能性があることを認めています。

人の肖像とメディアアップロード

悪用の可能性があるため、実際の人物の画像またはビデオを「シード」としてアップロードする機能は、最初はすべてのユーザーに利用できません。アクティブに監視されているユーザーのサブセットに制限されます。このテストフェーズでは、未成年者の画像を含むアップロードは厳しく禁止されています。