apple-aiml-research/ml-hugs

解決的問題

HUGS 解決了從單一影片來源中重建靜態背景場景與可動畫的人體模型的挑戰。它能建立一個3D表示，可被操控並動畫化為新姿勢，同時維持場景的脈絡。

工作原理

該系統使用神經輻射場與高斯點陣。它可在三種不同模式下訓練：聯合優化人體與場景、僅使用Triplane+MLP模型專注於人體，或僅專注於場景。它利用SMPL人體模型處理人體幾何，並可與AMASS等資料集整合，以渲染新動畫。

適用對象

本專案專為電腦視覺與3D重構領域的研究人員與開發者設計，旨在協助他們在重構的環境中建立可動畫的數位人類。

主要亮點

• 從單一影片中重建人體與背景。
• 支援使用外部動作捕捉資料進行新動畫渲染。
• 提供靈活的訓練模式，支援聯合、僅人體或僅場景優化。
• 實作用於人體表示的Triplane+MLP模型。