NVlabs/tiny-cuda-nn

解决的问题

Tiny CUDA Neural Networks (tcnn) 是一个高性能框架，旨在以极致的效率训练和查询小型神经网络。它通过提供针对 NVIDIA GPU 优化的多层感知器 (MLP) 的“完全融合”实现以及先进的输入编码，解决了传统深度学习框架的瓶颈。

运作原理

该框架利用多项关键技术优化来实现其速度：

• 完全融合的 MLP (Fully Fused MLPs)： 不再按顺序执行层，而是使用“完全融合”架构，最大限度地减少内存访问并最大化 GPU 吞吐量。
• 多分辨率哈希编码 (Multiresolution Hash Encoding)： 一种通用的编码技术，使网络能比标准位置编码更有效地学习复杂的高频细节。
• JIT 融合 (JIT Fusion)： 一项可选功能，可将模型转换为 CUDA 设备函数，并使用 CUDA 的运行时编译 (RTC) 进行编译，以进一步融合运算并消除开销。
• 灵活的组件： 提供模块化的输入编码系统（例如 Grid、Frequency、Spherical Harmonics）、损失函数（L1、L2、MAPE 等）以及优化器（Adam、SGD、Shampoo 等）。

适用对象

主要针对使用 NVIDIA GPU 并需要为小型网络进行极速推理与训练的开发者与研究人员，特别是在神经辐射场 (NeRFs) 和实时图形基元等领域。

特点

• 极致性能： 对于小型 MLP，显著快于带有 XLA 的 TensorFlow。
• C++/CUDA 与 PyTorch 绑定： 提供原生 C++ API 以实现最高性能，并提供 PyTorch 扩展功能以便更轻松地集成到 Python 工作流程中。
• JIT 编译： 能够将模型作为设备函数集成到更大的自定义 CUDA 内核中，从而实现巨大的速度提升（例如在 Instant NGP 中所见）。
• CUDA 优化： 专门针对 Tensor Cores 和高端 NVIDIA GPU 进行了调整。