zju3dv/street_crafter

解決的問題

StreetCrafter 解決了從新軌跡合成逼真街景影片的挑戰。它能夠生成高品質、可控制的街景，同時在不同視角間保持一致性，這在使用標準影片生成工具時通常難以實現。

工作原理

該系統採用三步流程：

1. 條件生成：處理 LiDAR 數據、校準影像和物件軌跡，生成彩色點雲，作為模型的像素級條件。
2. 可控生成：使用觀測影像和參考嵌入對影片擴散模型進行優化，以 LiDAR 渲染為條件，生成可控的街景影片。
3. 3D 蒸餾：將擴散模型生成的視圖作為監督信號，用於優化動態 3D 高斯點陣（3DGS）表示，從而實現新軌跡的渲染。

適用對象

本專案專為從事電腦視覺、自動駕駛模擬和 3D 場景重建的研究人員和開發者設計。

主要亮點

• LiDAR 引導：使用彩色點雲為影片生成提供精確的空間條件。
• 混合方法：結合影片擴散模型的生成能力與 3D 高斯點陣的結構一致性。
• 新視角合成：能夠從完全新的軌跡渲染街景。
• 動態表示：支援將擴散生成的內容蒸餾為動態 3D 表示。