apple-aiml-research/ml-lito

해결하는 문제

LiTo는 물리적 형상과 시점 의존적 외관(조명 반사, 정반사 하이라이트 등)을 단일의 컴팩트한 잠재 공간에서 모두 포착하는 방식으로 3D 객체를 표현하는 문제를 해결합니다. 기존의 3D 표현은 종종 이 두 요소를 분리하지 못하거나 프레넬 반사와 같은 복잡한 광학 효과를 재현하지 못합니다.

작동 방식

이 시스템은 "표면 광장 토큰화(Surface Light Field Tokenization)"를 사용하여 RGB-깊이 이미지의 무작위 하위 샘플을 일련의 잠재 벡터로 인코딩합니다. RGB-깊이 이미지를 표면 광장의 샘플로 처리함으로써, 모델은 형상과 외관을 공동으로 모델링하는 통합된 3D 잠재 공간을 학습합니다. 이를 통해 모델은 잠재 변수를 3D 가우시안, 메시, 재샘플링된 포인트 클라우드 등 다양한 형식으로 디코딩할 수 있습니다. 또한, 단일 이미지에서 3D 객체를 생성하는 이미지-3D 생성 모델(DiT)이 훈련되어 생성된 객체의 외관이 입력 이미지의 조명 및 재질과 일치하도록 보장합니다.

대상 사용자

이 프로젝트는 3D 컴퓨터 비전, 생성 AI, 그래픽스 분야의 연구자와 개발자를 위해 설계되었으며, 특히 고충실도 3D 재구성 및 이미지-3D 생성에 관심이 있는 사람들을 대상으로 합니다.

주요 특징

• 시점 의존 효과: 복잡한 조명, 정반사 하이라이트, 프레넬 반사를 모델링할 수 있습니다.
• 빠른 생성: NVIDIA H100에서 약 4.7초 만에 이미지-3D 생성을 달성합니다.
• 이미지 정렬: 생성된 3D 객체는 임의의 좌표 프레임이 아닌 입력 이미지에 정렬됩니다.
• 크로스 플랫폼 지원: Linux(NVIDIA GPU) 및 macOS(Apple Silicon, MLX 경유) 모두에서 호환되는 대화형 데모를 제공합니다.