OpenAI Sora 2 与 Sora 应用安全框架

OpenAI 已推出 Sora 2 和 Sora 应用，将高保真视频生成与协作创作环境相结合。为管理高真实感视频和音频相关的风险，OpenAI 实施了以来源、同意和内容过滤为重点的多层安全架构。

AI 内容来源与识别

Sora 2 使用可见和不可见信号来区分 AI 生成的内容与真实影像。所有输出在发布时都包含可见水印。为了技术来源追踪，Sora 在所有视频中嵌入 C2PA 元数据——行业标准签名。此外，OpenAI 维护内部的逆向图像和音频搜索工具，以高精度将视频追溯至 Sora 系统，基于此前在 ChatGPT 图像生成和 Sora 1 中使用的系统。

基于同意的角色肖像

OpenAI 引入了角色功能，允许用户控制自己的肖像。该框架旨在确保角色中捕获的音频和图像肖像仅在用户同意的情况下使用。关键控制包括：

• 访问管理： 用户决定谁可以使用他们的角色，并可随时撤销访问权限。
• 可见性： 用户可以查看所有包含其角色的视频，包括他人创建的草稿，以便进行审查、删除或举报。
• 行为偏好： 用户可以为角色的行为设定具体偏好（例如，要求角色始终穿戴特定服装）。
• 公众人物保护： Sora 阻止对公众人物的描绘，除非这些人物正在使用角色功能。

对青少年用户的保障

Sora 为年轻用户提供了特定保护，以限制其接触成熟内容并防止不受欢迎的互动。这些措施包括：

• 内容过滤： 信息流的设计适合青少年，且青少年个人资料不会向成人推荐。
• 沟通限制： 成人禁止主动向青少年发送消息。
• 家长控制： ChatGPT 中的新控制功能允许家长管理青少年的直接消息，并在 Sora 应用内选择非个性化信息流。
• 使用限制： 青少年在应用内的连续滚动有默认限制。

内容过滤与危害降低

Sora 采用分层防御，在创作和分发阶段阻止不安全内容。防护措施会检查跨多个视频帧和音频转录的提示和输出，以阻止色情材料、恐怖主义宣传和自残促销。

由于 Sora 的真实感、运动和音频能力提升了潜在风险，OpenAI 相较于其图像生成工具收紧了政策。除生成阶段外，自动系统会根据全球使用政策扫描所有信息流内容，以过滤不安全或不适龄的材料。这些自动系统由人工审查补充，以应对高影响危害。

音频与音乐安全

为应对音频生成相关风险，Sora 自动扫描生成语音的转录文本以检测政策违规。为保护知识产权和艺术家权益，Sora 阻止生成模仿在世艺术家或现有作品的音乐。OpenAI 尊重创作者的删除请求，若其认为 Sora 输出侵犯了其作品。

用户控制与救济

用户对其共享内容和互动保持控制。视频仅在用户选择后才会分享到信息流，已发布的内容可随时删除。用户可以举报任何视频、个人资料或评论的滥用行为，并可屏蔽账户，以防他人查看其个人资料或通过直接消息联系。