apple-aiml-research/ml-lito

解決する課題

LiToは、3Dオブジェクトの物理的な形状と、視点依存の外観（照明の反射や鏡面ハイライトなど）を、単一のコンパクトな潜在空間で表現するという課題に取り組みます。従来の3D表現では、これら2つの要素を分離することが難しかったり、フレネル反射のような複雑な光学効果を再現できないことがよくあります。

仕組み

このシステムは「サーフェスライトフィールドトークナイゼーション」を使用して、RGB深度画像のランダムなサブサンプルを一連の潜在ベクトルにエンコードします。RGB深度画像をサーフェスライトフィールドのサンプルとして扱うことで、モデルは形状と外観を共同でモデル化する統一された3D潜在空間を学習します。これにより、モデルは潜在変数を3Dガウス、メッシュ、再サンプリングされた点群などのさまざまな形式にデコードできます。さらに、画像から3Dへの生成モデル（DiT）がトレーニングされ、単一の画像から3Dオブジェクトを生成し、生成されたオブジェクトの外観が入力画像の照明とマテリアルと一致することを保証します。

対象者

このプロジェクトは、3Dコンピュータビジョン、生成AI、グラフィックスに携わる研究者や開発者、特に高忠実度の3D再構成と画像から3Dへの生成に興味がある人々を対象としています。

ハイライト

• 視点依存効果: 複雑な照明、鏡面ハイライト、フレネル反射をモデル化できます。
• 高速生成: NVIDIA H100上で約4.7秒で画像から3Dへの生成を実現します。
• 画像アライメント: 生成された3Dオブジェクトは、任意の座標フレームではなく、入力画像に位置合わせされます。
• クロスプラットフォームサポート: Linux（NVIDIA GPU）とmacOS（Apple Silicon、MLX経由）の両方に対応したインタラクティブデモを提供します。