nv-tlabs/vipe
ViPE: Video Pose Engine for Geometric 3D Perception
해결하는 문제
ViPE는 원시 동영상을 기반으로 기하학적 3D 정보를 추출하기 위한 공간 AI 도구입니다. 카메라 자세와 밀도 높은 깊이 맵을 수동으로 주석하는 문제를 해결하며, 표준 핀홀, 광각, 360도 파노라마 영상 등 다양한 동영상 유형에 대해 자동화된 프로세스를 제공합니다.
작동 방식
ViPE는 제약 없는 원시 동영상에서 카메라 내부 파라미터, 카메라 운동(자세), 그리고 밀도 높은 근사 메트릭 깊이 맵을 추정합니다. 표준 동영상의 경우 고정 크기의 키프레임 버퍼를 사용합니다. 임의로 긴 동영상의 경우, 슬라이딩 키프레임 윈도우와 트래잭터리 레지스터를 사용하는 pose_only_long 파이프라인을 활용하여 동영상 길이에 관계없이 GPU 및 CPU 메모리 사용량을 일정하고 제한된 상태로 유지합니다.
대상 사용자
이 도구는 3D 인식, 공간 AI, 동영상 분석 분야에서 일하는 개발자 및 연구자에게 적합합니다. 원시 영상에서 정확한 카메라 궤적과 깊이 맵이 필요한 분들에게 이상적입니다.
주요 특징
- 다양한 동영상 지원: 핀홀, 광각, 360도 파노라마 동영상 모두 지원.
- 메모리 효율성: 긴 시퀀스 동영상에 특화된 파이프라인으로 메모리 증가를 방지.
- 고성능: CUDA 융합 커널과 파이프라인 캐싱으로 성능을 크게 향상.
- 유연한 깊이 통합: Depth-Anything 3 및 MoGe v2와 같은 다양한 깊이 추정 모델과 통합 가능.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트