ant-research/4DAnyone

解决的问题

4DAnyone 将单个随意的单目视频转换为多视角视频。这解决了需要昂贵的多相机阵列来捕获 4D（3D + 时间）人体重建的问题，使用户能够从简单的肖像视频生成密集的目标视角。

工作原理

该系统接收一个人的肖像视频（720p 或更高分辨率），并生成该人物在不同相机配置下的多个合成视角。用户可以指定每层的视角数量、不同高度层级的俯仰角，以及水平方向的偏航范围，以创建自定义相机阵列。输出包括生成的目标视角视频和相机元数据，这些可作为下游 4D 高斯点云（4DGS）重建的输入。

适用人群

本工具专为从事 4D 人体重建、计算机视觉和数字人创建的研究人员和开发者设计，也适合希望将合成多视角数据与 4DGS 流水线集成的用户。

主要亮点

• 灵活的相机布局：支持多种配置，从简单的 6 视角环绕到跨越三个俯仰层的密集 48 视角布局。
• 与 4DGS 集成：提供脚本用于导出数据至 Nerfstudio，并训练仅前景的 3D 高斯点云模型。
• 可自定义视角：可精确控制视角数量、俯仰角和偏航覆盖范围。
• 自动化工作流：首次使用时会自动下载所需模型和示例。