Eyeline-Labs/Vista4D

解決的問題

Vista4D 解決了「影片重拍」的挑戰，也就是從原始影片中合成動態場景，但使用完全新的相機軌跡與視角。它特別解決了使用真實世界影片的不精確 4D 重構來引導影片生成時所產生的分佈偏移與雜訊問題。

工作原理

Vista4D 使用 4D 點雲來表示動態場景。透過在雜訊較多、重構的多視角影片上進行訓練，彌補訓練與推論之間的差距，使模型對真實世界 4D 重構中常見的雜訊具有韌性。該框架引入時間上持續的靜態點，以保留場景內容並提升相機控制能力。它是基於 Wan 2.1 (T2V-14B) 模型的微調版本所建構而成。

適用對象

此工具專為電腦視覺與影片合成領域的研究人員與開發者設計，適用於需要變更現有影片的相機角度、擴展動態場景，或執行 4D 場景重構的場景。

主要亮點

• 強韌的 4D 引導：能夠處理來自真實世界影片的不精確 4D 重構。
• 彈性應用：支援動態場景擴展、4D 場景重構（點雲編輯）以及具記憶體的長影片推論。
• 互動式相機 UI：內建基於 Viser 的 UI，可用於設計目標相機路徑與編輯點雲。
• 多 GPU 支援：實作統一序列平行（USP），降低 VRAM 使用量並加速推論。