isarandi/nlf

[NeurIPS 2024] Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation

解决的问题

Neural Localizer Fields (NLF) 提供了一种从图像或视频中连续估计三维人体姿态和形状的方法。它解决了在三维空间中准确跟踪人体运动和物理结构的挑战。

工作原理

该项目采用基于神经场的方法来表示人体几何和姿态。通过利用连续表示，模型可以从视觉输入中推断三维人体参数，并提供了 PyTorch 和 TensorFlow 框架的训练代码。

适用人群

该项目面向计算机视觉领域的研究人员和开发者，特别是那些专注于人体运动捕捉、三维重建和具身智能的研究者。

亮点

  • 发表于 NeurIPS 2024。
  • 支持 PyTorch 和 TensorFlow 实现。
  • 包含用于自定义模型开发的训练代码。
  • 专为连续三维姿态和形状估计而设计。

相关

  • 项目
    PacesaLab/BindCraft2

    BindCraft2 是一个基于 Linux 的命令行管道，使用 AlphaFold 2 和 ProteinMPNN 为用户提供的靶标设计从头蛋白质结合剂、肽和抗体片段。用户配置一个 JSON 活动（靶标、结合剂长度、模式、可选属性），该工具迭代进行结构预测、序列重设计和过滤评分，输出排名后的候选序列和预测的复合物结构。

  • 项目
    xibushu/UniForge3D

    UniForge3D 是一个 AI 系统，可将物体的几张未对齐照片转换为完整的 3D 模型。它利用共享潜在空间联合重建观测到的几何结构并生成缺失部分，同时通过视图选择步骤保留细节。该仓库提供基于 Conda 的安装方式、简单的 infer.py 脚本、MIT 许可的代码以及预训练权重（受其原始许可约束）。

  • 项目
    jasongzy/Make-It-Animatable

    一个高效的框架，通过从3D网格预测关节位置和蒙皮权重，自动化创建可动画化的3D角色。

  • 项目
    Dai-Wenxun/MotionLCM

    MotionLCM 是一个用于实时、文本条件人体运动生成的研究代码库。它使用潜在一致性模型实现单步推理，并通过 Motion ControlNet 引入显式关节轨迹，支持运动重建、文本到运动生成以及可控运动合成。README 提供了 conda 环境设置、HumanML3D 数据准备、预训练模型下载、演示命令、SMPL/Blender 渲染方法，以及通过 YAML 配置文件完成完整训练的说明。