NVlabs/tiny-cuda-nn

解決的問題

Tiny CUDA Neural Networks (tcnn) 是一個高效能框架，旨在以極致的效率訓練和查詢小型神經網路。它透過提供針對 NVIDIA GPU 優化的多層感知器 (MLP) 的「完全融合」實作以及先進的輸入編碼，解決了傳統深度學習框架的瓶頸。

運作原理

該框架利用多項關鍵技術優化來實現其速度：

• 完全融合的 MLP (Fully Fused MLPs)： 不再依序執行層，而是使用「完全融合」架構，最大限度地減少記憶體存取並最大化 GPU 吞吐量。
• 多解析度雜湊編碼 (Multiresolution Hash Encoding)： 一種通用的編碼技術，使網路能比標準位置編碼更有效地學習複雜的高頻細節。
• JIT 融合 (JIT Fusion)： 一項選用功能，可將模型轉換為 CUDA 裝置函式，並使用 CUDA 的執行時期編譯 (RTC) 進行編譯，以進一步融合運算並消除開銷。
• 靈活的組件： 提供模組化的輸入編碼系統（例如 Grid、Frequency、Spherical Harmonics）、損失函式（L1、L2、MAPE 等）以及優化器（Adam、SGD、Shampoo 等）。

適用對象

主要針對使用 NVIDIA GPU 並需要為小型網路進行極速推論與訓練的開發者與研究人員，特別是在神經輻射場 (NeRFs) 和即時圖形基元等領域。

特點

• 極致效能： 對於小型 MLP，顯著快於帶有 XLA 的 TensorFlow。
• C++/CUDA 與 PyTorch 綁定： 提供原生 C++ API 以實現最高效能，並提供 PyTorch 擴充功能以便更輕鬆地整合到 Python 工作流程中。
• JIT 編譯： 能夠將模型作為裝置函式整合到更大的自訂 CUDA 核心中，從而實現巨大的速度提升（例如在 Instant NGP 中所見）。
• CUDA 優化： 專門針對 Tensor Cores 和高階 NVIDIA GPU 進行了調整。