Google DeepMind Veo：將生成式影片整合至實景拍攝《ANCESTRA》

Google DeepMind 與導演 Eliza McNitt 以及 Primordial Soup——由 Darren Aronofsky 創立的敘事創新事業——合作製作短片《ANCESTRA》。此計畫展示了 Veo（Google 最先進的影片生成模型）與傳統實景拍攝的結合，創造出原本成本高昂或技術上難以捕捉的複雜高保真畫面。

AI 驅動的前期製作與概念藝術

為了奠定《ANCESTRA》的視覺基礎，製作團隊結合 Gemini、Imagen 與 Veo，將個人歷史轉化為電影影像。

• Gemini for Prompt Engineering：團隊將 McNitt 出生時的個人照片上傳至 Gemini，該系統以精確的美學細節描述圖像。這些描述成為後續影像與影片生成的主要提示。
• Imagen for Concept Art：Imagen 被用來生成關鍵概念藝術，定義了影片的整體氛圍、風格與色彩調色盤。
• Veo for Animation：Imagen 生成的概念藝術隨後使用 Veo 進行動畫化，並透過額外的文字提示指導特定的動作與移動。

先進的 Veo 功能以實現電影控制

為符合專業電影製作的需求，Google DeepMind 為 Veo 開發了新功能，以提供更高的個人化與對相機運動的精確控制。

個人化影片生成

為了在各場景中保持一致的藝術指導——特別是子宮內胎兒的鏡頭——團隊微調了一個 Imagen 模型以匹配特定參考圖像。接著使用 Gemini 精練提示以產生寫實影像，Veo 再透過其圖像轉影片功能將其轉換為動畫場景。此流程確保 AI 生成的主體在整部影片中保持視覺一致性。

動作匹配影片生成

Veo 被用來執行精確的相機運動，這些運動僅靠文字提示難以實現：

• Virtual Camera Tracking：在一段穿越人體至子宮的序列中，團隊建立了人體的 3D 模型，並使用虛擬相機錄製草稿鏡頭。Veo 追蹤此草稿鏡頭的運動，以生成最終影片。
• Reference Motion Matching：為了呈現有機孔洞閉合的畫面，團隊提供了該特定動作的參考影片給 Veo。Veo 結合這些參考動作與文字提示，在數分鐘內生成全新高品質場景，繞過傳統 CGI 複雜且耗時的製作流程。

將生成式影片與實景畫面融合

為避免與 VFX 嬰兒常相關的「怪異谷」現象，製作團隊將實景表演與生成元素結合：

• Object Addition：利用 Veo 的「add object」功能，團隊將生成的新生嬰兒插入實景畫面。透過提供原始畫面、文字提示以及嬰兒的指定區域，模型生成了主體，同時保持其餘場景的一致性。
• VFX Integration：這些生成的元素隨後使用傳統 VFX 與色彩分級進行精緻化，以確保 AI 生成的嬰兒與實景環境之間的無縫融合。

與傳統 VFX 流程的整合

生成式 AI 並非取代傳統工作流程，而是作為補充工具。對於複雜鏡頭——例如日落時分從孵化中的鱷魚卵內部的主觀視角鏡頭——團隊使用 Veo 與 Imagen 生成多張單獨的圖像與影片，然後透過傳統 VFX 合成技術將其組合。

Google DeepMind 與 Primordial Soup 的此項合作是三部計畫影片中的第一部，旨在確保生成式 AI 工具的開發以專業電影製作者的實際需求與工作流程為基礎。