apple-aiml-research/ml-hugs

解决的问题

HUGS 解决了从单一视频源中重建静态背景场景和可动画化的人体模型的挑战。它能够创建一个3D表示，该表示可以被操控并动画化为新姿势，同时保持场景的上下文。

工作原理

该系统使用神经辐射场和高斯点阵。它可以在三种不同模式下进行训练：联合优化人体和场景，仅使用Triplane+MLP模型专注于人体，或仅专注于场景。它利用SMPL人体模型处理人体几何，并可与AMASS等数据集集成，以渲染新的动画。

适用人群

本项目专为计算机视觉和3D重建领域的研究人员和开发者设计，旨在帮助他们在重建的环境中创建可动画化的数字人类。

主要亮点

• 从单个视频中重建人体和背景。
• 支持使用外部动作捕捉数据进行新动画渲染。
• 提供灵活的训练模式，支持联合、仅人体或仅场景优化。
• 实现了用于人体表示的Triplane+MLP模型。