OpenAI Sora 2 안전 프레임워크

OpenAI는 고품질 비디오 및 오디오 생성과 관련된 위험을 관리하기 위해 Sora 2와 Sora 앱에 포괄적인 안전 프레임워크를 구현했습니다. 이 프레임워크는 출처 신호, 동의 기반 외모 제어, 그리고 계층형 콘텐츠 필터링을 결합하여 오용을 방지하고 사용자 신원을 보호합니다.

AI 콘텐츠 출처 및 식별

Sora 2는 AI가 생성한 콘텐츠를 가시적 및 비가시적 신호를 통해 식별할 수 있도록 보장합니다. 생성된 모든 비디오는 업계 표준 서명인 C2PA 메타데이터와 비가시적 출처 신호를 포함합니다. OpenAI는 내부 역이미지 및 오디오 검색 도구를 유지하여 비디오를 높은 정확도로 Sora 플랫폼으로 추적합니다.

또한, 많은 출력물에는 제작자의 이름이 포함된 동적으로 움직이는 워터마크가 표시되어 콘텐츠 출처를 가시적으로 나타냅니다.

외모 및 동의 관리

OpenAI는 생성된 비디오에서 실제 인물의 외모를 처리하기 위한 구체적인 메커니즘을 도입했으며, 제작 방식에 따라 다음과 같이 구분합니다:

실제 인물을 활용한 이미지-비디오 변환

사용자는 가족 및 친구의 사진을 업로드하여 비디오를 만들 수 있으며, 필요한 동의와 권리를 보유하고 있음을 선언해야 합니다. 이러한 생성물은 Sora Characters에 적용되는 것보다 더 엄격한 안전 가드레일의 적용을 받습니다. 어린이 또는 어린 외모의 인물을 포함한 콘텐츠는 동일한 보호를 받지만, 더욱 엄격한 검토가 이루어집니다.

Characters를 통한 동의 기반 외모

"Characters" 기능은 사용자가 자신의 외모와 음성 외모를 제어할 수 있게 합니다. 주요 보호 조치는 다음과 같습니다:

접근 제어: 사용자가 자신의 캐릭터를 누가 사용할 수 있는지 결정하며 언제든지 접근을 취소할 수 있습니다.
공인 제한: 공인의 묘사는 해당 인물이 Characters 기능을 사용하고 있지 않는 한 차단됩니다.
가시성: 사용자는 자신의 캐릭터가 등장하는 모든 비디오(다른 사람이 만든 초안 포함)를 확인할 수 있어 검토 및 삭제가 가능합니다.
맞춤형 가드레일: 사용자는 외모에 대한 큰 변화를 방지하고, 당혹스러운 상황을 피하며, 정체성 일관성을 유지하기 위해 엄격한 가드레일을 활성화할 수 있습니다.

청소년 사용자 보호

Sora는 연령에 맞는 경험을 보장하기 위해 청소년 사용자를 위한 특수 보호 장치를 포함합니다:

콘텐츠 필터링: 성인용 출력은 제한되며, 피드는 청소년 계정에 대해 유해하거나 연령에 부적합한 자료를 제거하도록 필터링됩니다.
소셜 제한: 청소년 프로필은 성인에게 추천되지 않으며, 성인은 청소년에게 메시지를 시작할 수 없습니다.
부모 통제: ChatGPT를 통해 부모는 직접 메시지를 관리하고 자녀를 위한 비개인화 피드를 선택할 수 있습니다.
사용 제한: 기본적으로 청소년은 Sora 앱 내에서 연속 스크롤에 제한이 적용됩니다.

콘텐츠 필터링 및 해악 방지

Sora는 프롬프트 단계와 출력 단계 모두에서 위험한 콘텐츠를 차단하기 위해 계층형 방어를 사용합니다. 가드레일은 비디오 프레임과 오디오 전사본을 스캔하여 성적 자료, 테러 선전, 자해 촉진을 차단합니다.

생성 단계 이후에도 자동 시스템은 모든 피드 콘텐츠를 OpenAI의 글로벌 사용 정책에 따라 스캔하며, 고위험 해악에 대해서는 인간 검토가 보완됩니다. OpenAI는 Sora 2에서 움직임과 오디오의 현실감이 증가함에 따라 정책이 이미지 생성에 비해 강화되었다고 밝혔습니다.

오디오 및 음악 보호

오디오 생성과 관련된 위험을 해결하기 위해 Sora는 다음과 같은 보호 조치를 구현합니다:

음성 스캔: 생성된 음성의 전사본은 정책 위반 여부를 자동으로 스캔합니다.
음악 보호: 시스템은 살아있는 아티스트나 기존 작품을 모방하는 음악 생성 시도를 차단합니다.
삭제 요청: OpenAI는 Sora 출력이 자신의 작업을 침해한다고 생각하는 창작자의 삭제 요청을 존중합니다.

사용자 제어 및 구제

사용자는 앱 내에서 자신의 콘텐츠와 소셜 상호작용을 제어할 수 있습니다:

공유 제어: 사용자가 명시적으로 선택한 경우에만 비디오가 피드에 공유됩니다.
신고 및 차단: 모든 비디오, 프로필, 직접 메시지, 댓글, 그리고 캐릭터는 악용에 대해 신고할 수 있습니다.
차단: 사용자는 계정을 차단하여 다른 사람이 자신의 프로필을 보거나, 캐릭터에 접근하거나, 직접 메시지를 보내는 것을 방지할 수 있습니다.