facebookresearch/pytorch3d

解决的问题

PyTorch3D 是一个旨在简化 3D 计算机视觉研究的库，它通过提供使用 PyTorch 预测和操作 3D 数据的高效、可重用组件来实现这一目标。它弥合了 3D 数据结构与深度学习框架之间的鸿沟，允许研究人员将 3D 操作集成到神经网络中。

工作原理

该库使用 PyTorch 张量实现所有算子，确保它们是可微的并可以使用 GPU 加速。它提供了用于三角形网格的专用数据结构和可微网格渲染器。它还包括 Implicitron，这是一个通过隐式表示进行新视角合成的框架。

适用对象

主要面向 3D 计算机视觉和深度学习领域的研究人员，他们需要对 3D 网格、点云和体素进行操作，或者正在构建用于 3D 重建和合成的模型。

亮点

• 可微渲染：包含一个允许梯度通过渲染过程反向传播的网格渲染器。
• 网格操作：针对三角形网格的投影变换、图卷积和采样的效率化操作。
• GPU 加速：所有算子都针对 PyTorch 张量进行了优化，并支持异构数据的 mini-batch。
• 隐式表示：支持隐式函数、体素渲染以及新视角合成框架 (Implicitron)。