yehonathanlitman/Lift4D

何を解決するか

Lift4D は、単一視点の「リアル世界」動画から完全な4Dアセット（時間とともに変化する3Dオブジェクト）を再構成できるようにします。物体が移動または変形している動画から時間的に一貫性のある3Dモデルを構築する課題に対処し、複数の単一視点推定を1つの統合された変形可能モデルに統合します。

動作方法

このパイプラインは3つの明確な段階で動作します：

1. セグメンテーション：テキストプロンプトに基づいて SAM 3 を使用して、動画から対象オブジェクトを分離します。
2. Causal SAM3D：各フレームごとにオブジェクトの3D再構成を実行し、因果的潜在変換を活用してフレーム間の時間的一貫性を維持します。
3. Lift4D Training：個々のフレームごとの再構成を統合し、1つの標準形状と学習された変形場を組み合わせることで、一貫性のある4Dアセットを生成します。

対象ユーザー

このツールは、コンピュータビジョン、4D再構成、デジタルアセット作成に従事する研究者や開発者向けに設計されており、現実世界の動画クリップをアニメーション可能な3Dモデルに変換する必要がある人を対象としています。

特徴

• リアル世界対応：カスタム動画とテキストプロンプトを使用してオブジェクトセグメンテーションが可能。
• 時間的一貫性：因果的潜在変換を用いて、3D再構成がフレーム間で安定するように保証。
• 2段階最適化：トレーニングプロセスを幾何学最適化と外観精緻化に分離。
• 隠蔽処理対応：シーンの深度情報を使用して、欠落したオブジェクト部分を補完する隠蔽合成をサポート。