nv-tlabs/lyra

What it solves

Project Lyraは、限られた視覚的入力から3Dおよび4Dシーンを生成する方法を提供します。単一の画像または動画から一貫性のある探索可能な3D世界を構築するという課題を解決し、2D生成AIから空間的に一貫性のある3D環境への移行を可能にします。

How it works

このプロジェクトは、主に2つのバージョンがあります：

• Lyra 1.0: ビデオ拡散モデルの自己蒸留を利用して、単一の画像または動画からフィードフォワード形式の3Dおよび4Dシーン生成を可能にします。

• Lyra 2.0: 長期間の3D一貫性のある生成に焦点を当て、探索可能な生成型3D世界を構築します。

Who it’s for

この技術は、3Dシーン再構成、生成AI、および仮想環境の構築に取り組む研究者や開発者向けに設計されています。

Highlights

• 3D/4D Generation: 単一の画像または動画から3Dシーンおよび4D（時間変化する）シーンを生成できます。
• 3D Consistency: Lyra 2.0は、特に長期間の一貫性をターゲットとし、探索中の世界が安定して維持されるようにします。
• Open Implementation: Lyra 2.0の公式実装、トレーニングコード、およびGUIを提供します。