Google DeepMind Veo: ANCESTRA를 위한 실사 영화 제작에 생성 비디오 통합

Google DeepMind는 감독 Eliza McNitt와 Darren Aronofsky가 설립한 스토리텔링 혁신 벤처인 Primordial Soup와 협력하여 단편 영화 “ANCESTRA”를 제작했습니다. 이 프로젝트는 Google의 최첨단 비디오 생성 모델인 Veo를 전통적인 실사 영화 제작과 통합하여, 그렇지 않으면 비용이 너무 많이 들거나 기술적으로 촬영하기 어려운 복잡하고 고품질의 시퀀스를 만들 수 있음을 보여줍니다.

AI 기반 사전 제작 및 콘셉트 아트

“ANCESTRA”의 시각적 기반을 구축하기 위해 제작팀은 Gemini, Imagen, Veo를 조합하여 개인 역사를 영화적 이미지로 변환했습니다.

  • Gemini for Prompt Engineering: 팀은 McNitt의 출생 사진을 Gemini에 업로드했으며, Gemini는 이미지를 정확한 미학적 세부사항으로 설명했습니다. 이러한 설명은 이후 이미지 및 비디오 생성의 주요 프롬프트로 사용되었습니다.
  • Imagen for Concept Art: Imagen을 사용하여 영화의 전체 분위기, 스타일, 색상 팔레트를 정의하는 핵심 콘셉트 아트를 생성했습니다.
  • Veo for Animation: Imagen이 생성한 콘셉트 아트를 Veo로 애니메이션화했으며, 추가 텍스트 프롬프트를 사용해 특정 행동과 움직임을 안내했습니다.

영화적 제어를 위한 고급 Veo 기능

전문 영화 제작 요구 사항을 충족하기 위해 Google DeepMind는 Veo에 새로운 기능을 개발하여 보다 높은 개인화와 카메라 움직임에 대한 정밀 제어를 가능하게 했습니다.

개인화된 비디오 생성

장면 전반에 걸쳐 일관된 아트 디렉션을 유지하기 위해—특히 자궁 내 아기 영상을 위해—팀은 특정 레퍼런스 이미지에 맞게 Imagen 모델을 미세 조정했습니다. 이후 Gemini를 사용해 현실적인 이미지 프롬프트를 다듬었으며, Veo는 이를 이미지‑비디오 변환 기능을 통해 애니메이션 장면으로 변환했습니다. 이 과정은 AI가 생성한 피사체가 영화 전체에서 시각적으로 일관되도록 보장했습니다.

모션 매칭 비디오 생성

Veo는 텍스트 프롬프트만으로는 구현하기 어려운 정밀한 카메라 움직임을 수행하는 데 활용되었습니다:

  • Virtual Camera Tracking: 인간 몸을 통과해 자궁으로 들어가는 시퀀스를 위해 팀은 인간 몸의 3D 모델을 만들고 가상 카메라로 초안 촬영을 기록했습니다. Veo는 이 초안 촬영의 움직임을 추적하여 최종 비디오를 생성했습니다.
  • Reference Motion Matching: 유기적인 구멍이 닫히는 모습을 묘사하기 위해 팀은 해당 모션의 레퍼런스 비디오를 Veo에 제공했습니다. Veo는 이 레퍼런스 모션을 텍스트 프롬프트와 결합해 몇 분 안에 새로운 고품질 장면을 생성했으며, 전통적인 CGI의 복잡하고 시간 소모적인 과정을 우회했습니다.

생성 비디오와 실사 영상의 블렌딩

VFX 아기와 종종 연관되는 “언캐니 밸리” 현상을 피하기 위해, 제작팀은 실사 연기와 생성 요소를 결합했습니다:

  • Object Addition: Veo의 “add object” 기능을 사용해 팀은 생성된 신생아를 실사 영상에 삽입했습니다. 원본 영상, 텍스트 프롬프트, 아기의 위치를 정의한 영역을 Veo에 제공함으로써 모델은 피사체를 생성하면서 나머지 장면은 일관성을 유지했습니다.
  • VFX Integration: 생성된 요소들은 전통적인 VFX와 컬러 그레이딩을 통해 다듬어져 AI가 만든 아기와 실사 환경 사이의 매끄러운 블렌드를 보장했습니다.

전통적인 VFX 파이프라인과의 통합

생성 AI는 전통적인 워크플로우를 대체하기 위한 것이 아니라 보완 도구로 사용되었습니다. 복잡한 샷—예를 들어 일몰 시 부화 중인 악어 알 내부에서의 시점 샷—에 대해 팀은 Veo와 Imagen을 사용해 여러 개별 이미지와 비디오를 생성한 뒤, 전통적인 VFX 합성 기법으로 이를 합성했습니다.

Google DeepMind와 Primordial Soup 간의 이번 파트너십은 계획된 세 편의 영화 중 첫 번째이며, 생성 AI 도구가 전문 영화 제작자의 실제 요구와 워크플로우에 기반해 개발되도록 하는 것이 목표입니다.

SUMMARY: Google DeepMind는 감독 Eliza McNitt와 Darren Aronofsky의 Primordial Soup와 협력하여 단편 영화 ANCESTRA를 제작했으며, Veo가 개인화된 생성 및 모션 매칭을 통해 생성 비디오와 실사 영상을 어떻게 결합할 수 있는지 보여줍니다.

TITLE: Google DeepMind Veo: ANCESTRA를 위한 실사 영화 제작에 생성 비디오 통합

Sources