nv-tlabs/lyra

What it solves

Project Lyra 提供了一种从有限的视觉输入中生成 3D 与 4D 场景的方法。它解决了从单张图像或视频生成一致且可探索的 3D 世界的挑战，实现了从 2D 生成式 AI 向空间一致的 3D 环境的转型。

How it works

该项目包含两个主要版本：

• Lyra 1.0: 使用视频扩散模型自我蒸馏技术，实现从单张图像或视频进行前馈式 3D 与 4D 场景生成。
• Lyra 2.0: 在长时程、3D 一致性生成方面进行重点关注，以创建可探索的生成式 3D 世界。

Who it’s for

该技术是设计的用于从事 3D 场景重建、生成式 AI 以及虚拟环境创建的研究人员和开发者。

Highlights

• 3D/4D Generation: 能够从单张图像或视频生成 3D 场景与 4D (time-varying) 场景。
• 3D Consistency: Lyra 2.0 特别针对长时程一致性进行优化，以确保世界在探索过程中保持稳定。
• Open Implementation: 为 Lyra 2.0 提供官方实现、训练代码和 GUI。