NVIDIAGameWorks/kaolin

解决的问题

Kaolin 是一个专为加速 3D 深度学习研究而设计的 PyTorch 库，提供一系列 GPU 优化、可复用的构建模块。它简化了处理各种 3D 表示形式（如网格、点云和高斯点）的过程，并提供了微分渲染和物理模拟工具，这些功能通常从零开始实现非常复杂。

如何工作

Kaolin 将多个专用的 3D 操作整合到一个统一的 PyTorch API 中。它通过 Simplicits 提供与表示无关的物理模拟，支持微分渲染引擎（如 nvdiffrast 和 DIB-R），并提供 GPU 八叉树加速结构（Structured Point Clouds）。它还处理不同 3D 格式之间的转换（例如，体素网格转网格），并提供四元数数学和 USD I/O 的实用工具。

适用人群

主要面向从事 3D 深度学习、计算机视觉和计算机图形学的研究人员和开发者，特别是使用 PyTorch 的用户。

主要亮点

• 与表示无关的物理模拟：支持网格、点云和高斯点的碰撞模拟。
• 3D 高斯点渲染：对 GaussianSplatModel 提供第一级支持，包括 PLY/USD I/O 和密度化功能。
• 微分渲染：包含 PBR、球谐函数和球面高斯光照的工具。
• USD 流水线：自定义模式用于导入和导出网格、点云和物理材质。
• 快速转换：支持网格、体素网格、点云和高斯点之间的 GPU 加速转换。
• 结构化点云：使用 GPU 八叉树加速光线追踪和特征网格。