D4RT: 동적 4D 재구성 및 추적

Google DeepMind은 D4RT(Dynamic 4D Reconstruction and Tracking)를 도입했는데, 이는 2D 비디오 입력으로부터 공간과 시간에 걸쳐 동적 장면을 재구성하고 추적하도록 설계된 통합 AI 모델입니다. 동적 장면 재구성을 단일 프레임워크로 통합함으로써 D4RT는 동적 현실의 총체적 인식을 가능하게 하여, 움직임을 가진 부피 있는 3D 세계를 복구하기 위해 일반적으로 필요한 단편화되고 계산적으로 집약적인 과정을 극복합니다.

통합 쿼리 기반 아키텍처

D4RT는 2D 투영으로부터 3D 운동을 복구하는 역 문제를 해결하기 위해 통합 인코더-디코더 Transformer 아키텍처를 활용합니다. 시스템은 유연한 쿼리 메커니즘을 통해 작동하며, 이는 기본적인 질문인 "주어진 비디오의 픽셀이 임의의 시간에서 선택된 카메라 viewpoint로부터 3D 공간에서 어디에 위치해 있는가?"에 기반하여 모델이 필요한 데이터만 계산하도록 허용합니다.

  • Encoder: 입력 비디오를 장면의 기하학과 움직임의 압축된 표현으로 처리합니다.
  • Lightweight Decoder: 인코더의 표현을 쿼리하여 현대 AI 하드웨어에서 특정 공간-시간 쿼리를 병렬로 답변합니다.

이 접근 방식은 D4RT가 개별 포인트를 추적하거나 전체 장면을 재구성하는지에 관계없이 매우 확장 가능하고 빠르게 작동하도록 허용합니다.

성능 및 벤치마크

D4RT는 이전의 최첨단 방법들에 비해 정확도와 효율성 모두에서 상당한 향상을 보여주며, 특정 테스트에서 18배에서 300배 더 빠르게 수행됩니다. 한 예로, D4RT는 단일 TPU 칩에서 1분 길이의 비디오를 약 5초에 처리했는데, 이는 이전 방법의 10분에 비해 120배 향상된 성능입니다.

  • 점 구름 재구성 (MPI Sintel): D4RT는 3D 충실도 점수 1.091을 달성하여 $\pi3$ (0.861) 및 SpatialTrackerV2 (0.625)와 같은 기준점을 능가했습니다.
  • 3D 포인트 추적 (Aria Digital Twin): D4RT는 3D 충실도 점수 1.904에 도달하여 SpatialTrackerV2 (1.762) 및 CoTracker3 + VGGT (1.264)를 초과했습니다.
  • 카메라 포즈 추정 (RE10k): D4RT는最高의 Pose AUC 점수 0.835를 달성하여 $\pi3$ (0.787) 및 SpatialTrackerV2 (0.757)를 앞섰습니다.

핵심 기능

유연한 쿼리 기반 인터페이스를 통해 D4RT는 별도의 전문 모델이 필요 없이 다양한 4D 작업을 해결할 수 있습니다:

  • Point Tracking: 픽셀의 3D 궤적을 시간 단계에 걸쳐 예측하며, 객체가 모든 프레임에 보이지 않더라도 적용됩니다.
  • Point Cloud Reconstruction: 시간과 카메라 뷰포트를 고정하여 장면의 완전한 3D 구조를 생성함으로써 반복적 최적화나 별도의 카메라 추정이 필요 없도록 합니다.
  • Point Cloud Reconstruction: 시간과 카메라 뷰포트를 고정하여 장면의 완전한 3D 구조를 생성함으로써 반복적 최적화나 별도의 카메라 추정이 필요 없도록 합니다.
  • Camera Pose Estimation: 서로 다른 뷰포인트에서의 단일 순간의 3D 스냅샷을 정렬하여 카메라의 궤적을 복구합니다.

하류 응용

DeepMind은 D4RT의 실시간 4D 재구성 기능이 적용될 수 있는 세 가지 주요 영역을 식별합니다:

  • Robotics: 움직이는 사람과 물체가 있는 환경에서 안전한 탐색과 민첩한 조작에 필요한 공간 인식을 제공합니다.
  • Augmented Reality (AR): 저지연, 온디바이스 장면 기하학 이해를 가능하게 하여 디지털 객체를 실제 세계에 정확히 겹쳐 놓을 수 있습니다.
  • World Models: 카메라 움직임, 물체 움직임, 정적 기하학을 분리하여 물리적 현실의 진정한 세계 모델을 갖춘 AI 개발에 기여합니다.

Sources