OpenAI Sora 系統卡

Sora 是一個 Diffusion‑Transformer 影片生成模型

Sora 是一個影片生成模型，能將文字、圖像與影片輸入轉換為新的影片輸出。它支援最高 108p 的解析度，且最長時長為 20 秒。此模型設計用於敘事與創意表達，允許使用者從文字產生內容，或是增強與重新混合現有資產。

在技術層面，Sora 採用 diffusion 模型方法，從靜態噪聲開始，逐步去除噪聲以生成影片。它使用 transformer 架構，提供類似 GPT 模型的卓越擴展性能。為了提升對使用者指示的遵循度，Sora 使用 DALL·E 3 的重新標題（recaptioning）技術，為視覺訓練資料生成高度描述性的說明文字。

核心能力

Sora 提供多種生成與修改模式：

文字轉影片： 僅根據文字指示生成影片。
圖像轉影片： 將靜止圖像動畫化，注重細節。
影片轉影片： 延伸現有影片或填補缺失的畫格。
創意工具： 使用者可利用分鏡板、重新剪輯、混音與混合工具來修改內容。

OpenAI 表示，Sora 作為能理解與模擬現實世界的模型基礎，他們認為這是邁向通用人工智慧（AGI）的里程碑。

安全緩解措施與紅隊測試

OpenAI 實施了多層安全堆疊，以減輕如濫用肖像、錯誤資訊以及產生露骨內容等風險。此堆疊包括訓練前過濾，從資料集移除露骨、暴力或敏感內容，於訓練開始前完成。

外部紅隊測試工作

2024 年 9 月至 12 月，OpenAI 與遍及九個國家的外部紅隊測試者合作。這些測試者執行超過 15,000 次生成，以找出安全緩解措施的弱點。主要發現包括：

防護規則規避： 紅隊測試者發現，使用醫療或科幻/奇幻設定可能削弱對情色與性內容的防護。
對抗性策略： 測試者使用暗示性提示、隱喻與破解技術以規避拒絕。有些使用單一提示生成作為種子媒體，開發出僅靠文字無法創建的違規內容。
工具利用： 測試顯示，修改工具（分鏡板、重新剪輯、混音與混合）以及媒體上傳可用來繞過輸入與輸出過濾，需加強分類器過濾。

透過備援框架的風險評估

OpenAI 透過其備援框架，對 Sora 在四個類別進行評估：說服、網路安全、CBRN（化學、生物、放射與核）以及模型自治。OpenAI 未發現網路安全、CBRN 或模型自治有顯著風險，因這些超出 Sora 目前的範疇。然而，Sora 在說服類別存在潛在風險，特別是冒充、錯誤資訊與社交工程。

Sora 安全堆疊

為了因應已辨識的風險，OpenAI 在使用者看到輸出前採用多層審核與過濾：

多模態審核分類器： 此系統透過外部 Moderation API 辨識違規的文字、圖像或影片提示與輸出。
自訂 LLM 過濾： 由於影片生成是非同步且需數秒完成，OpenAI 使用客製化的 GPT 針對特定主題（包括欺騙性與第三方內容）執行高精度審核檢查。
圖像輸出分類器： 專門的過濾器在影片分享給使用者前，阻擋包含 NSFW 內容、未成年人、暴力或濫用肖像的影片。
文字阻斷清單： 模型使用由 DALL·E 2 與 DALL·E 3 開發所提供的阻斷清單。
來源工具： 為對抗錯誤資訊，OpenAI 採用包括中繼資料、水印與指紋等多層方法。

為未成年人與個人提供的專屬保護

OpenAI 已實施嚴格的保護措施，以防止產生兒童性虐待資料（CSAM）與濫用肖像：

兒童安全

Sora 為兒童安全採用三項主要的輸入緩解措施：

CSAM 偵測： 與 Thorn 的「Safer」整合，以偵測已知的 CSAM 雜湊值，並使用 CSAM 分類器偵測新內容。匹配結果會回報給 NCMEC。
多模態審核： 一個分類器，可在文字、圖像與影片輸入中偵測涉及未成年人的性內容。
未滿 18 歲分類器： 專門的分類器會拒絕真實的兒童圖像。若為虛構圖像（動畫或素描風格）且非性質，則允許；真實兒童則被拒絕。OpenAI 承認這些模型在年齡預測上可能存在種族偏見。

人類肖像與媒體上傳

鑑於可能被濫用，將真實人物的圖像或影片作為「種子」上傳的功能最初並未向所有使用者開放。此功能僅限於受主動監控的部分使用者。測試階段嚴禁上傳包含未成年人圖像的檔案。