nghorbani/human_body_prior

解決的問題

建模人類的3D姿態非常困難，因為其維度高且結構複雜。本專案提供了一種定義有效人類姿態分佈的方法，使系統能夠懲罰不可能的身體姿勢，同時接受自然的姿勢。這在逆運動學（IK）任務中特別有用，例如將3D身體模型擬合到2D影像或3D動作捕捉標記上。

工作原理

VPoser 是一個在 AMASS 資料集上訓練的變分自編碼器（VAE），該資料集包含大量人類動作捕捉資料。它學習 SMPL 身體姿態的低維潛在表示。由於其端到端可微分，可作為先驗用於引導優化流程，確保生成的身體姿態保持解剖學上的合理性。

適用對象

專為從事3D人類建模、電腦視覺和動作捕捉的研究人員與開發者設計，特別是使用 SMPL 身體模型系列的使用者。

主要亮點

• 可微分先驗：可無縫整合至優化流程中。
• 逆運動學引擎：包含一個全面的 IK 引擎，支援批次處理和靈活的關鍵點定義（3D關節或2D影像點）。
• 低維表示：將人類姿態的複雜高維空間簡化為更易處理的潛在空間。
• 關節相關性建模：有效捕捉人體不同關節之間的運動關聯。