TencentARC/Track4World

해결하는 문제

Track4World는 단안 영상에서 모든 픽셀에 대한 밀도 높은 3D 추적의 과제를 해결합니다. 임의의 프레임 쌍 간의 3D 장면 흐름을 추정할 수 있게 하여, 사용자가 카메라 기준 위치나 몇몇 희박한 점이 아닌, 전역적인 월드 센트릭 좌표계에서 모든 픽셀의 움직임을 추적할 수 있도록 합니다.

작동 방식

이 프로젝트는 밀도 높은 3D 장면 흐름을 추정하기 위해 피드포워드 방식을 사용합니다. Depth Anything v3, MoGe, Pi3와 같은 다양한 깊이 백본을 지원하여 3D 운동을 재구성합니다. 월드 센트릭 추적을 위해 DINO와 SAM2를 통합하여 동적 객체를 세그먼테이션할 수 있으며, 이는 전경 객체와 정적 배경을 분리하여 시각화 및 추적 정확도를 향상시킵니다.

대상 사용자

컴퓨터 비전, 3D 장면 재구성, 운동 분석 분야에서 일하는 연구자 및 개발자에게 적합합니다. 단일 카메라 영상에서 고밀도 3D 추적을 필요로 하는 분들께 최적입니다.

주요 특징

• 밀도 높은 3D 추적: 월드 센트릭 좌표계에서 프레임 간 모든 픽셀을 추적합니다.
• 피드포워드 추정: 임의의 프레임 쌍 간의 3D 장면 흐름을 효율적으로 추정합니다.
• 메트릭 스케일 지원: Depth Anything v3 백본을 사용할 경우 미터 단위의 좌표 출력을 제공합니다.
• 다중 백본 호환성: MoGe 및 Pi3를 포함한 다양한 깊이 추정 모델과 호환됩니다.