haoz19/world-tracing

해결하는 문제

World Tracing은 객체나 장면의 보이는 표면만 캡처하는 표준 단안 깊이 맵의 한계를 해결합니다. "레이어 기하학"을 예측하여 전경 뒤의 보이는 표면과 부분적으로 가려진 표면의 3D 구조를 추정할 수 있게 합니다.

작동 방식

이 프로젝트는 플로우 매칭 확산 모델을 사용하여 단일 이미지에서 여러 개의 정합된 XYZ 맵(포인트 클라우드)을 예측합니다. 단일 전방 패스로 여러 레이어의 기하학을 생성하여 보이는 표면을 넘어서는 3D 스캐폴드를 만듭니다. 세 가지 주요 모드를 지원합니다:

• 객체 모드: RGBA 이미지에서 단일 객체의 기하학을 예측합니다.
• 장면 모드: RGB 이미지에서 전체 환경의 기하학을 예측합니다.
• 동적 모드: 16프레임 비디오 클립에 대해 시간에 따른 3D 포인트 클라우드를 예측합니다.

대상 사용자

이 도구는 3D 비전, 생성형 AI, 이미지-3D 재구성 분야의 연구자와 개발자를 위해 설계되었습니다. 메시 생성과 같은 다운스트림 작업을 위해 단순한 깊이 맵보다 더 풍부한 3D 표현이 필요한 사용자에게 특히 유용합니다.

주요 기능

• 가시 범위를 넘는 기하학: 가려진 표면을 예측하여 더 완전한 3D 구조를 제공합니다.
• 다층 출력: 포괄적인 3D 스캐폴드를 형성하는 여러 XYZ 맵을 생성합니다.
• 비디오 지원: 짧은 비디오 클립에 대한 동적 3D 기하학을 예측할 수 있습니다.
• 메시 통합: 예측된 포인트 클라우드를 텍스처가 있는 GLB 메시로 변환하는 TRELLIS.2 브리지를 포함합니다.
• 내부 파라미터 복원: 외부 포즈 추정기 없이 예측된 기하학에서 직접 카메라 내부 파라미터를 계산할 수 있습니다.