nv-tlabs/vipe
ViPE: Video Pose Engine for Geometric 3D Perception
解决的问题
ViPE 是一款空间 AI 工具，旨在从原始视频中提取几何 3D 信息。它解决了手动标注相机姿态和密集深度图的问题，可自动化处理多种视频类型，包括标准针孔、广角以及 360 度全景视频。
工作原理
ViPE 从无约束的原始视频中估计相机内参、相机运动（姿态）以及密集的近似度量深度图。对于标准视频，它使用固定大小的帧缓冲区。对于任意长的视频，它采用 pose_only_long 流水线，利用滑动关键帧窗口和轨迹账本，确保无论视频长度如何，GPU 和 CPU 内存使用量都保持稳定且恒定。
适用人群
本工具适用于需要从原始视频中获取精确相机轨迹和深度图的 3D 感知、空间 AI 和视频分析领域的开发者与研究人员。
主要亮点
- 多类型视频支持：支持针孔、广角和 360 度全景视频。
- 内存高效：提供专用于长序列视频的流水线，防止内存持续增长。
- 高性能：通过 CUDA 融合内核和流水线缓存优化，实现显著加速。
- 灵活的深度集成：可与多种深度估计模型集成，包括 Depth-Anything 3 和 MoGe v2。
相关
- 项目
- 项目
- 项目
- 项目
- 项目