zju3dv/street_crafter

何を解決するか

StreetCrafterは、新しい軌道からの現実的なストリートビュー動画を合成する課題に対処します。標準的な動画生成ツールでは難しい、異なる視点間で一貫性を保ちつつ高品質で制御可能なストリートシーンの生成を可能にします。

仕組み

このシステムは3段階のパイプラインを使用します：

1. 条件設定：LiDARデータ、キャリブレーション済み画像、オブジェクトトラックレットを処理してカラーポイントクラウドを作成し、モデルのピクセルレベルの条件として使用します。
2. 制御可能な生成：観測された画像と参照埋め込みを用いて最適化された動画拡散モデルを、LiDARレンダリングを条件として使用して、制御可能なストリートビュー動画を生成します。
3. 3D蒸留：拡散モデルから生成されたビューを監視信号として使用し、動的な3Dガウススプラッティング（3DGS）表現を最適化することで、新しい軌道のレンダリングを可能にします。

対象ユーザー

本プロジェクトは、コンピュータビジョン、自動運転シミュレーション、3Dシーン再構築に取り組む研究者および開発者向けに設計されています。

特徴

• LiDARガイド：カラーポイントクラウドを用いて動画生成のための正確な空間的条件を提供します。
• ハイブリッドアプローチ：動画拡散モデルの生成力と3Dガウススプラッティングの構造的一貫性を組み合わせます。
• 新しいビュー合成：まったく新しい軌道からのストリートシーンのレンダリングが可能です。
• 動的表現：拡散モデルで生成されたコンテンツを動的な3D表現に蒸留できます。