zju3dv/EasyVolcap

[SIGGRAPH Asia 2023 (Technical Communications)] EasyVolcap: Accelerating Neural Volumetric Video Research

解决的问题

EasyVolcap 是一个专为加速神经体积视频研究而设计的 PyTorch 库。它简化了体积视频捕捉、重建和渲染的复杂流程,提供了一个统一的框架,减少了实现和测试新体积视频算法所需的样板代码。

运作方式

该库提供了一种模块化架构,将管线分为采样器、网络和渲染器。它同时支持统一的 NeRF 风格管线(可通过配置文件替换组件)以及完全自定义的网络构建方法。该框架处理数据加载、相机位姿校正和图像去畸变,让研究人员能专注于核心网络逻辑。它还包含一个基于 WebSocket 的服务器端渲染系统,将渲染与查看解耦。

适用对象

适用于从事 4D 视角合成、神经辐射场 (NeRF)、3D 高斯泼溅 (3DGS) 及其他体积视频重建技术的研究人员和开发者。

特色亮点

  • 多算法支持:包含 Instant-NGP+T、3DGS+T 和 ENeRFi 的实现。
  • 灵活自定义:允许用户通过简单的装饰器注册自定义模块,并通过 YAML 配置文件替换组件。
  • 集成工具:提供 GUI 查看器、渲染服务器以及用于提取几何(点云)以进行初始化的脚本。
  • 可扩展设计:鼓励针对新项目采用分支工作流程,如 4K4D 项目所示。

相关

  • 项目
  • 项目
  • 项目
  • 项目