apple-aiml-research/ml-neuman
Official repository of NeuMan: Neural Human Radiance Field from a Single Video (ECCV 2022)
解決的問題
NeuMan 解決了從單一輸入影片中重建靜態背景場景與動態可動畫化人體的挑戰。它允許在原始環境中合成人物的新視角與新姿態。
工作原理
該系統使用神經輻射場（NeRF）來表示場景。它將重建分為兩部分：背景場景 NeRF 與人體 NeRF。人體模型與 SMPL（一種參數化人體模型）整合，以支援動畫與姿態調整，使系統能夠渲染原始影片中未出現姿態下的人物。
適用對象
此專案適用於從事電腦視覺、3D 重建與神經渲染的研究人員與開發者，特別是對以人為中心的場景合成感興趣的群體。
主要亮點
- 單一影片輸入：僅需一個影片即可重建完整的 3D 場景與人物。
- 可動畫化人體：支援使用 SMPL 權重進行新姿態合成。
- 組合式合成：能夠將多個重建的演員渲染至同一場景中（遠端聚集）。
- 新視角合成：生成標準姿態與擺姿人體的 360 度視圖。
相關
- 專案
- 專案
- 專案
- 專案