OpenAI Sora 2 與 Sora 應用程式安全框架

OpenAI 推出了 Sora 2 與 Sora 應用程式，將高保真影片生成與協作創作環境結合。為了管理與高度寫實影片與音訊相關的風險，OpenAI 實施了多層次的安全架構，重點放在來源追蹤、同意機制與內容過濾上。

AI 內容來源追蹤與辨識

Sora 2 使用可見與不可見的訊號來區分 AI 生成的內容與真實影像。所有輸出在發布時皆包含可見的浮水印。為了技術層面的來源追蹤，Sora 會在所有影片中嵌入 C2PA 中繼資料——業界標準的簽章。除此之外，OpenAI 仍保有內部的逆向影像與音訊搜尋工具，以高度精準地將影片追溯至 Sora 系統，這是基於先前在 ChatGPT 影像生成與 Sora 1 中使用的系統所建構的。

基於同意的角色肖像

OpenAI 推出了角色功能，讓使用者能掌控自己的肖像。此框架旨在確保角色中所捕捉的音訊與影像肖像僅在使用者同意下使用。主要控制項包括：

• 存取管理： 使用者決定誰可以使用他們的角色，且可隨時撤銷存取權限。
• 可見性： 使用者可以檢視所有包含其角色的影片，包括他人創建的草稿，以便審查、刪除或舉報。
• 行為偏好： 使用者可設定角色行為的具體偏好（例如，要求角色必須始終穿著特定服飾）。
• 公眾人物保護： Sora 會阻止描繪公眾人物，除非該人物本身使用角色功能。

青少年使用者的保護措施

Sora 為年輕使用者提供特定保護，以限制其接觸成熟內容並防止不想要的互動。這些措施包括：

• 內容過濾： 內容串流設計為適合青少年，且青少年個人檔案不會向成人推薦。
• 溝通限制： 禁止成人主動與青少年發送訊息。
• 家長控制： ChatGPT 中的新控制項允許家長管理青少年的直接訊息，並在 Sora 應用程式內選擇非個人化的內容串流。
• 使用限制： 青少年在應用程式內的連續捲動有預設限制。

內容過濾與危害減少

Sora 採用分層防禦，在創作與分發階段皆阻擋不安全內容。安全護欄會檢查多個影片畫面與音訊文字稿中的提示與輸出，以阻止性相關素材、恐怖主義宣傳與自我傷害宣傳。

由於 Sora 的寫實度、動作與音訊能力提升了潛在風險，OpenAI 相較於其影像生成工具加強了政策。除了生成階段外，自動系統會根據全球使用政策掃描所有內容串流，以過濾不安全或不適合年齡的素材。這些自動系統會由人工審查補強，以處理高影響的危害。

音訊與音樂安全

為了因應音訊生成的風險，Sora 會自動掃描生成語音的文字稿，以檢測是否違反政策。為保護智慧財產權與藝術家權益，Sora 會阻止生成模仿在世藝術家或既有作品的音樂。OpenAI 會遵從認為 Sora 輸出侵害其作品的創作者的下架請求。

使用者控制與救濟

使用者保有對其分享內容與互動的控制權。影片僅在使用者選擇後才會分享到內容串流，且已發布的內容可隨時移除。使用者可以舉報任何影片、個人檔案或評論的濫用行為，亦可封鎖帳號，以防止他人看到其個人檔案或透過直接訊息聯繫。