apple-aiml-research/ml-neuman
Official repository of NeuMan: Neural Human Radiance Field from a Single Video (ECCV 2022)
解决的问题
NeuMan 解决了从单个输入视频中重建静态背景场景和动态可动画化人体的挑战。它允许在原始环境中合成人物的新视角和新姿态。
工作原理
该系统使用神经辐射场（NeRF）来表示场景。它将重建分为两部分：背景场景 NeRF 和人体 NeRF。人体模型与 SMPL（一种参数化人体模型）集成，以支持动画和姿态调整，使系统能够渲染原始视频中未出现的姿态下的人物。
适用人群
该项目适用于从事计算机视觉、3D 重建和神经渲染的研究人员和开发者，特别是对以人为中心的场景合成感兴趣的群体。
主要亮点
- 单视频输入：仅需一个视频即可重建完整的 3D 场景和人物。
- 可动画化人体：支持使用 SMPL 权重进行新姿态合成。
- 组合式合成：能够将多个重建的演员渲染到同一场景中（远程聚集）。
- 新视角合成：生成标准姿态和摆姿人体的 360 度视图。
相关
- 项目
- 项目
- 项目
- 项目