zju3dv/EasyMocap

解決的問題

EasyMocap 提供了一個用於無標記人體動作捕捉和新視角合成的綜合工具箱。它消除了在主體上放置物理標記的需求，允許使用者從各種影片源（包括多視角設置、單一網路影片以及包含鏡像的影片）中提取 3D 身體、手部和臉部姿勢。

工作原理

該系統將參數化人體模型（如 SMPL、SMPL-X 和 MANO）擬合到影片數據中。根據來源的不同，它使用不同的技術：

• 多視角： 將模型擬合到同步攝影機以捕捉詳細姿勢。
• 網路影片： 結合 2D 關鍵點估計（透過 MediaPipe 或 HRNet 等工具）和 CNN 初始化來重建 3D 動作。
• 鏡像影片： 特別處理鏡中出現的人體幾何結構以重建 3D 姿勢。
• 新視角合成： 使用隱式神經表示從稀疏視角生成動態人體的新視角。

適用對象

此工具專為 3D 視覺、電腦圖學和動畫領域的研究人員與開發者設計，他們需要在沒有昂貴基於標記的硬體的情況下從 RGB 影片捕捉人體運動。

特點

• 多樣化輸入： 支援多視角、單視角網路影片和鏡像影片。
• 全面的模型支援： 相容於 SMPL、SMPL+H、SMPL-X 和 MANO 模型，用於全身、手部和臉部捕捉。
• 新視角合成： 能夠從稀疏的多視角影片中合成人類互動的新視角。
• 整合工具： 包含用於攝影機校準、3D 即時視覺化以及邊界框和關鍵點標註的內建工具。