zju3dv/4K4D

解決的問題

4K4D 實現了 4K 解析度的即時 4D 視角合成，讓使用者能夠從新視角即時渲染高解析度動態場景。

運作原理

該專案利用名為 EasyVolcap 的體積影片框架。它採用基於點的表示法，並支援用於高效光柵化的基於圖塊的 CUDA 渲染器。該系統可在多視角資料集（如 DNA-Rendering 或 ZJU-MoCap）上進行訓練，並可針對不同目標進行優化，包括即時渲染模型以及將外觀模型蒸餾為低階球諧函數 (SH) 參數的行動裝置優化版本。

適用對象

從事電腦視覺、4D 重建和體積影片研究，且需要高保真、即時播放動態場景的研究人員與開發者。

特色亮點

• 4K 解析度：支援動態場景的高解析度合成。
• 即時效能：針對即時渲染進行優化，包含專用的 CUDA 後端圖塊光柵化器。
• 靈活渲染：包含一個基於 WebSocket 的檢視器，用於遠端伺服器端渲染與本地客戶端操作。
• 模組化框架：建立在 EasyVolcap 框架之上，可輕鬆整合訓練與推論管線。