Pixel-Talk/PEAR

[SIGGRAPH‘2026] PEAR :Pixel-aligned Expressive humAn mesh Recovery

解决的问题

PEAR 解决了从图像或视频中实时恢复具有表现力的 3D 人体网格的挑战。它提供了一个统一的框架，能够快速且准确地预测具有表现力的人体网格（EHM-s）参数，同时不牺牲细节。

工作原理

PEAR 采用像素对齐的方法来恢复 3D 人体网格。该系统专为高性能设计，能够以 100 FPS 的速度预测参数，适用于实时应用。系统与标准人体模型（如 SMPL、SMPLX 和 FLAME）集成，生成最终的 3D 网格。

适用人群

本项目适用于从事计算机视觉、3D 人体重建和数字人动画的研究人员和开发者，他们需要一种高性能、实时的表达性网格恢复解决方案。

主要亮点

  • 实时性能：以 100 FPS 预测 EHM-s 参数。
  • 统一框架：单一系统即可实现表达性 3D 人体网格恢复。
  • 广泛模型支持：兼容 SMPL、SMPLX 和 FLAME 模型。
  • 完整工具链：包含推理和训练代码。

相关

  • 项目
    PozzettiAndrea/ComfyUI-SAM3DBody

    Meta的SAM 3D Body的ComfyUI封装，可实现从单张图像中恢复全身体3D人体网格。

  • 项目
    spear-sim/spear

    A Python library for photorealistic embodied AI research that provides deep programmatic control over Unreal Engine applications with high-speed rendering and extensive API access.

  • 项目
    facebookresearch/MHR

    A high-fidelity parametric 3D human body model that uses identity, pose, and facial expression parameters to generate realistic, differentiable human meshes.

  • 项目
    phamquiluan/ResidualMaskingNetwork

    使用残差掩码网络检测图像和实时视频流中人类情感的面部表情识别系统。

  • Dispatch
    BAIR PEVA：全身条件化自我中心视频预测

    BAIR 引入了 PEVA，这是一种面向具身代理的世界模型，能够基于高维全身运动学姿态轨迹预测自我中心视频帧。