nv-tlabs/lyra

What it solves

NVIDIA Project Lyra 提供了一種從有限的視覺輸入中生成 3D 與 4D 場景的方法。它解決了從單張圖像或影片中創建一致且可探索的 3D 世界的挑戰，實現了從 2D 生成式 AI 向空間一致的 3D 環境的轉型。

How it works

該專案包含兩個主要版本：

• Lyra 1.0: 使用影片擴散模型自我蒸餾技術，實現從單張圖像或影片進行前饋式 3D 與 4D 場景生成。
• Lyra 2.0: 專注於長時程、3D 一致性的生成，以創建可探索的生成式 3D 世界。

Who it’s for

此技術是為從事 3D 場景重建、生成式 AI 以及虛擬環境創建的研發人員與開發者設計的。

Highlights

• 3D/4D Generation: 能從單張圖像或影片中生成 3D 場景與 4D（隨時間變化）場景。
• 3D Consistency: Lyra 2.0 特別針對長時程一致性進行優化，以確保世界在探索過程中保持穩定。
• Open Implementation: 為 Lyra 2.0 提供官方實作、訓練代碼與 GUI。