OpenAI Sora 系统卡

Sora 是一种 Diffusion-Transformer 视频生成模型

Sora 是一种视频生成模型，能够将文本、图像和视频输入转换为新的视频输出。它支持最高 1080p 分辨率和最长 20 秒的时长。该模型专为叙事和创意表达而设计，使用户能够从文本生成内容或增强和重混现有资产。

从技术角度看，Sora 采用扩散模型方法，从静态噪声开始逐步去噪以生成视频。它使用 transformer 架构，提供类似 GPT 模型的卓越伸缩性能。为了提高对用户指令的遵循度，Sora 采用了 DALL·E 3 的重新标题技术，即为视觉训练数据生成高度描述性的标题。

核心能力

Sora 提供多种生成和修改模式：

Text-to-Video: 仅从文本指令生成视频。
Image-to-Video: 在注重细节的情况下为静态图像添加动画。
Video-to-Video: 扩展现有视频或填充缺失的帧。
Creative Tools: 用户可以使用故事板、重剪、重混和融合工具来修改内容。

OpenAI 表示，Sora 为能够理解和模拟真实世界的模型奠定了基础，这被视为实现通用人工智能（AGI）的重要里程碑。

安全缓解措施和红队测试

OpenAI 实施了多层安全栈，以缓解诸如肖像滥用、错误信息和生成露骨内容等风险。该栈包括在训练开始前对数据集进行预训练过滤，以移除露骨、暴力或敏感内容。

外部红队测试工作

从 2024 年 9 月到 12 月，OpenAI 与九个国家的外部红队成员合作。这些测试者进行了超过 15,000 次生成，以发现安全缓解措施的弱点。主要发现包括：

Safeguard Evasion: 红队成员发现，使用医学或科幻/奇幻设定可能会削弱对色情和性内容的防护措施。
Adversarial Tactics: 测试者使用暗示性提示、隐喻和越狱技术来规避拒绝。一些测试者将单一提示生成作为种子媒体，以开发仅通过文本无法创建的违规内容。
Tool Exploitation: 测试表明，修改工具（故事板、重剪、重混和融合）以及媒体上传可被用来绕过输入和输出过滤，因而需要更强的分类器过滤。

通过准备框架进行风险评估

使用其准备框架，OpenAI 在四个类别上评估了 Sora：说服力、网络安全、CBRN（化学、生物、放射性和核）以及模型自治。OpenAI 在网络安全、CBRN 或模型自治方面未发现显著风险的证据，因为这些超出了 Sora 当前的范围。然而，Sora 在 说服力 类别中存在潜在风险，具体表现为冒充、错误信息和社会工程学。

Sora 安全栈

为了应对已识别的风险，OpenAI 在用户看到输出之前采用多层审核和过滤：

多模态审核分类器： 该系统通过外部审核 API 识别违规的文本、图像或视频提示及输出。
自定义 LLM 过滤： 由于视频生成是异步的且需要几秒钟，OpenAI 使用定制的 GPT 对特定主题（包括欺骗和第三方内容）进行高精度审核检查。
图像输出分类器： 专用过滤器在与用户共享之前阻止包含 NSFW 内容、未成年人、暴力或肖像滥用的视频。
文本封禁列表： 模型使用基于 DALL·E 2 和 DALL·E 3 开发的封禁列表。
溯源工具： 为了对抗错误信息，OpenAI 采用多层方法，包括元数据、水印和指纹识别。

对未成年人和个人的专门保护

OpenAI 已实施严格的保护措施，以防止生成儿童性虐待材料（CSAM）和肖像滥用：

儿童安全

Sora 采用三项主要输入缓解措施来保障儿童安全：

CSAM 检测： 集成 Thorn 的 "Safer" 以检测已知的 CSAM 哈希值，并使用 CSAM 分类器检测新内容。匹配项将报告给 NCMEC。
多模态审核： 一种分类器，能够在文本、图像和视频输入中检测涉及未成年人的性内容。
未满 18 岁分类器： 一种专门的分类器，用于拒绝逼真的儿童图像。虽然非性的虚构图像（动画或素描风格）是允许的，但逼真的儿童图像会被拒绝。OpenAI 承认这些模型在年龄预测上可能表现出种族偏见。

人像肖像和媒体上传

由于存在滥用的潜在风险，将真实人物的图像或视频作为“种子”上传的功能最初不对所有用户开放。它仅限于处于主动监控下的用户子集。在此测试阶段，包含未成年人图像的上传将被严格禁止。