OpenAI Sora 2 및 Sora 앱 안전 프레임워크

OpenAI는 고품질 비디오 생성과 협업 창작 환경을 통합한 Sora 2와 Sora 앱을 출시했습니다. 고현실성 비디오와 오디오와 관련된 위험을 관리하기 위해 OpenAI는 출처, 동의, 콘텐츠 필터링에 중점을 둔 다계층 안전 아키텍처를 구현했습니다.

AI 콘텐츠 출처 및 식별

Sora 2는 AI 생성 콘텐츠와 실제 영상을 구분하기 위해 가시적 신호와 비가시적 신호를 모두 활용합니다. 모든 출력물에는 출시 시 가시적인 워터마크가 포함됩니다. 기술적 출처를 위해 Sora는 모든 비디오에 C2PA 메타데이터—업계 표준 서명—를 삽입합니다. 또한 OpenAI는 내부 역이미지 및 오디오 검색 도구를 유지하여 비디오를 Sora 시스템으로 높은 정확도로 추적하며, 이는 이전에 ChatGPT 이미지 생성 및 Sora 1에서 사용된 시스템을 기반으로 합니다.

동의 기반 캐릭터 유사성

OpenAI는 사용자가 자신의 유사성을 제어할 수 있는 캐릭터 기능을 도입했습니다. 이 프레임워크는 캐릭터에 캡처된 오디오 및 이미지 유사성이 사용자 동의 하에만 사용되도록 설계되었습니다. 주요 제어 항목은 다음과 같습니다:

• 접근 관리: 사용자는 누가 자신의 캐릭터를 사용할 수 있는지 결정하고 언제든지 접근을 취소할 수 있습니다.
• 가시성: 사용자는 다른 사람이 만든 초안을 포함해 자신의 캐릭터가 등장하는 모든 비디오를 볼 수 있어 검토, 삭제 또는 신고가 가능합니다.
• 행동 선호도: 사용자는 캐릭터가 어떻게 행동할지에 대한 구체적인 선호도를 설정할 수 있습니다(예: 캐릭터가 항상 특정 의류를 착용하도록 요구).
• 공인 보호: Sora는 공인의 묘사를 차단하지만, 해당 공인이 캐릭터 기능을 사용하는 경우는 예외입니다.

청소년 사용자를 위한 보호 조치

Sora는 청소년 사용자가 성숙한 콘텐츠에 노출되는 것을 제한하고 원치 않는 상호작용을 방지하기 위해 특정 보호 기능을 포함합니다. 이러한 조치는 다음과 같습니다:

• 콘텐츠 필터링: 피드는 청소년에게 적합하도록 설계되었으며, 청소년 프로필은 성인에게 추천되지 않습니다.
• 통신 제한: 성인은 청소년에게 메시지를 시작할 수 없습니다.
• 부모 통제: ChatGPT의 새로운 제어 기능을 통해 부모는 청소년의 직접 메시지를 관리하고 Sora 앱 내에서 비개인화 피드를 선택할 수 있습니다.
• 사용 제한: 청소년은 앱 내 연속 스크롤에 대한 기본 제한이 적용됩니다.

콘텐츠 필터링 및 위해 감소

Sora는 생성 및 배포 단계 모두에서 안전하지 않은 콘텐츠를 차단하기 위해 다계층 방어를 사용합니다. 가드레일은 여러 비디오 프레임 및 오디오 전사본에 걸쳐 프롬프트와 출력을 검사하여 성적 자료, 테러 선전, 자해 촉진을 차단합니다.

Sora의 현실감, 움직임 및 오디오 기능이 잠재적 위험을 증가시키기 때문에, OpenAI는 이미지 생성 도구에 비해 정책을 강화했습니다. 생성 단계 이후에도 자동 시스템이 모든 피드 콘텐츠를 글로벌 사용 정책과 대조하여 안전하지 않거나 연령에 부적합한 자료를 필터링합니다. 이러한 자동 시스템은 고위험 피해에 대해 인간 검토가 보완합니다.

오디오 및 음악 안전

오디오 생성과 관련된 위험을 해결하기 위해 Sora는 생성된 음성의 전사본을 자동으로 스캔하여 정책 위반 여부를 확인합니다. 지적 재산권 및 아티스트 권리를 보호하기 위해 Sora는 살아있는 아티스트나 기존 작품을 모방하는 음악 생성 시도를 차단합니다. OpenAI는 Sora 출력이 자신의 작업을 침해한다고 판단하는 창작자의 삭제 요청을 존중합니다.

사용자 제어 및 구제

사용자는 공유된 콘텐츠와 상호작용에 대한 제어권을 유지합니다. 비디오는 사용자가 선택할 경우에만 피드에 공유되며, 게시된 콘텐츠는 언제든지 삭제할 수 있습니다. 사용자는 남용에 대해 비디오, 프로필 또는 댓글을 신고할 수 있으며, 계정을 차단하여 다른 사람이 자신의 프로필을 보거나 직접 메시지로 연락하는 것을 방지할 수 있습니다.