yehonathanlitman/Lift4D

解決的問題

Lift4D 能夠從單一視角的「野外」影片中重建完整的 4D 資產（隨時間變化的 3D 物件）。它解決了在物件可能移動或變形的影片中建立時間一致的 3D 模型的挑戰，透過將多個單一視角的估計融合為一個統一的可變形模型。

工作原理

此流程分為三個明確的階段：

1. 分割：使用 SAM 3 基於文字提示從影片中分割出目標物件。
2. Causal SAM3D：對每一幀進行 3D 重構，利用因果潛在傳播來維持幀間的時間一致性。
3. Lift4D 訓練：將各幀的重構結果融合為一個標準形狀與學習到的變形場，生成一致的 4D 資產。

適用對象

本工具專為從事電腦視覺、4D 重構與數位資產創建的研究人員與開發者設計，適用於需要將現實世界影片片段轉換為可動畫 3D 模型的使用者。

亮點

• 野外影片能力：支援自訂影片與文字提示進行物件分割。
• 時間一致性：採用因果潛在傳播，確保 3D 重構在幀間保持穩定。
• 兩階段最佳化：將訓練過程分為幾何最佳化與外觀精煉兩個階段。
• 遮擋處理：支援遮擋合成，利用場景深度資訊對遺漏部分進行補全。