zju3dv/4K4D

解决的问题

4K4D 实现了 4K 分辨率的实时 4D 视角合成，让用户能够从新视角实时渲染高分辨率动态场景。

运作原理

该项目利用名为 EasyVolcap 的体积视频框架。它采用基于点的表示法，并支持用于高效光栅化的基于图块的 CUDA 渲染器。该系统可在多视角数据集（如 DNA-Rendering 或 ZJU-MoCap）上进行训练，并可针对不同目标进行优化，包括实时渲染模型以及将外观模型蒸馏为低阶球谐函数 (SH) 参数的移动设备优化版本。

适用对象

从事计算机视觉、4D 重建和体积视频研究，且需要高保真、实时播放动态场景的研究人员与开发者。

特色亮点

• 4K 分辨率：支持动态场景的高分辨率合成。
• 实时性能：针对实时渲染进行优化，包含专用的 CUDA 后端图块光栅化器。
• 灵活渲染：包含一个基于 WebSocket 的查看器，用于远程服务器端渲染与本地客户端操作。
• 模块化框架：建立在 EasyVolcap 框架之上，可轻松整合训练与推理管线。