FORTH-ModelBasedTracker/MocapNET
A real-time method that estimates the 3D human pose directly in the popular Bio Vision Hierarchy (BVH) format, given estimations of the 2D body joints originating from monocular color images. Our contributions include: (a) A novel and compact 2D pose NSRM representation. (b) A human body orientation classifier and an ensemble of orientation-tuned
What it solves
MocapNET 旨在解決從單目 RGB 圖像（單攝影機影片）即時估計 3D 人體姿態的問題。它將 2D 關節估計轉換為 Bio Vision Hierarchy（BVH）格式，這是一種 3D 動畫的標準，使使用者僅憑簡單的影片串流而無需昂貴的動作捕捉硬體即可建立 3D 動畫。
How it works
系統作為 2D‑to‑3D 姿態估計器運作。它首先使用 2D 關節估計器（如 MobileNet、OpenPose 或 Mediapipe）偵測影片畫格中的身體關節。這些 2D 座標隨後由一組方向調校的神經網路處理，以回歸出 3D 姿態。
關鍵技術元件包括：
- NSRM Representation：緊湊的 2D 姿態表示。
- Orientation Classifier：辨識身體方向以選擇適當的神經網路進行 3D 回歸的系統。
- Inverse Kinematics (IK) Solver：高效的求解器，細化 3D 輸出以確保姿態與特定目標人物的肢體尺寸相符。
- Blender Integration：外掛程式，使輸出的 BVH 檔案可在 Blender 3D 編輯器中與自訂皮膚人物一起使用。
Who it’s for
本專案適合 3D 動畫師、電腦視覺研究者，以及開發動作捕捉、汽車 3D 身體追蹤或虛擬化身應用的開發者。
Highlights
- Real-time Performance：依硬體與設定不同，可達 30‑70 FPS 的即時效能。
- Holistic Tracking：4.0 版支援身體、手部與臉部的追蹤，包含 3D 目光與 BVH 臉部設定。
- BVH Output：直接輸出符合大多數 3D 引擎的標準格式動作幀。
- Occlusion Robustness：使用分解的運動學層級，即使身體部位被遮蔽也能恢復姿態。