OpenAI Sora 2 安全框架

OpenAI 为 Sora 2 及 Sora 应用实现了一个全面的安全框架，以管理高保真视频和音频生成相关的风险。该框架依赖于来源信号、基于同意的肖像控制以及分层内容过滤的组合，以防止滥用并保护用户身份。

AI 内容来源与识别

Sora 2 确保 AI 生成的内容可以通过可见和不可见的信号进行识别。每个生成的视频都包含 C2PA 元数据（行业标准签名）以及不可见的来源信号。OpenAI 维护内部的逆向图像和音频搜索工具，以高精度将视频追溯至 Sora 平台。

此外，许多输出会带有动态移动的水印，包含创作者的姓名，提供内容来源的可视化指示。

肖像与同意管理

OpenAI 引入了专门的机制来处理生成视频中真实人物的肖像，按创作方式进行分类：

基于真实人物的图像转视频

用户可以上传家人和朋友的照片来创建视频，前提是他们声明已获得必要的同意和权利。这类生成受到严格的安全防护，比 Sora 角色的防护更为严格。涉及儿童或看起来年轻的人的内容同样受到保护，但审查更为严苛。

基于同意的角色肖像

“Characters”功能允许用户控制自己的外观和声音肖像。关键保护包括：

• 访问控制：仅用户决定谁可以使用其角色，并可随时撤销访问权限。
• 公众人物限制：除非公众人物使用 Characters 功能，否则其描绘将被阻止。
• 可见性：用户可以看到所有包含其角色的视频，包括他人创建的草稿，以便审查和删除。
• 可定制防护：用户可以启用严格的防护措施，以防止外观的重大更改，避免尴尬情境，并保持身份一致性。

青少年用户保护

Sora 为年轻用户提供了专门的安全保障，以确保符合年龄的使用体验：

• 内容过滤：对成熟内容进行限制，信息流会过滤掉对青少年账户有害或不适龄的材料。
• 社交限制：青少年个人资料不会向成人推荐，且成人禁止主动向青少年发送消息。
• 家长控制：通过 ChatGPT，家长可以管理直接消息，并为子女选择非个性化的信息流。
• 使用限制：默认情况下，青少年在 Sora 应用内的连续滚动次数受到限制。

内容过滤与危害防止

Sora 采用分层防御，在提示阶段和输出阶段阻止不安全内容。防护措施通过扫描视频帧和音频转录，针对色情内容、恐怖主义宣传以及自残促销进行拦截。

在生成阶段之外，自动系统会根据 OpenAI 的全球使用政策扫描所有信息流内容，并辅以人工审查以应对高影响危害。OpenAI 指出，由于 Sora 2 中运动和音频的逼真度提升，政策相较于图像生成已进一步收紧。

音频与音乐安全措施

为应对音频生成相关风险，Sora 实施了以下保护措施：

• 语音扫描：生成的语音转录会自动扫描是否违反政策。
• 音乐保护：系统阻止生成模仿在世艺术家或已有作品的音乐。
• 删除请求：OpenAI 尊重创作者提出的删除请求，若其认为 Sora 输出侵犯了其作品。

用户控制与救济

用户在应用内保持对其内容和社交互动的控制权：

• 分享控制：只有在用户明确选择的情况下，视频才会分享到信息流。
• 举报与屏蔽：所有视频、个人资料、直接消息、评论和角色均可被举报滥用。
• 屏蔽：用户可以屏蔽账户，以阻止他人查看其个人资料、访问其角色或发送直接消息。