apple-aiml-research/ml-lito

解决的问题

LiTo 解决了以单一紧凑潜在空间表示 3D 对象的问题，该空间同时捕捉对象的物理几何形状和视点相关外观（如光照反射和高光）。传统的 3D 表示通常难以分离这两个要素，或无法再现菲涅尔反射等复杂光学效果。

工作原理

该系统使用“表面光场标记化”将 RGB-深度图像的随机子样本编码为一组潜在向量。通过将 RGB-深度图像视为表面光场的样本，模型学习了一个统一的 3D 潜在空间，该空间联合建模几何和外观。这使得模型可以将潜在变量解码为各种格式，包括 3D 高斯、网格和重采样点云。此外，还训练了一个图像到 3D 的生成模型（DiT），从单张图像生成 3D 对象，确保生成对象的外观与输入图像的照明和材质一致。

适用人群

该项目面向从事 3D 计算机视觉、生成式 AI 和图形学的研究人员和开发者，特别是对高保真 3D 重建和图像到 3D 生成感兴趣的人。

亮点

• 视点相关效果：能够建模复杂光照、高光和菲涅尔反射。
• 快速生成：在 NVIDIA H100 上约 4.7 秒内实现图像到 3D 的生成。
• 图像对齐：生成的 3D 对象与输入图像对齐，而不是放置在任意坐标框架中。
• 跨平台支持：提供与 Linux（NVIDIA GPU）和 macOS（Apple Silicon，通过 MLX）兼容的交互式演示。