NVIDIAGameWorks/kaolin

解決的問題

Kaolin 是一個專為加速 3D 深度學習研究而設計的 PyTorch 庫，提供一系列 GPU 優化、可重用的建構模組。它簡化了處理各種 3D 表示形式（如網格、點雲和高斯點）的過程，並提供可微分渲染與物理模擬工具，這些功能通常從零開始實作非常複雜。

如何運作

Kaolin 將多個專用的 3D 操作整合至一個一致的 PyTorch API 中。它透過 Simplicits 提供與表示無關的物理模擬，支援可微分渲染引擎（如 nvdiffrast 和 DIB-R），並提供 GPU 八元樹加速結構（Structured Point Clouds）。它也處理不同 3D 格式之間的轉換（例如，體素網格轉網格），並提供四元數數學與 USD I/O 的實用工具。

適用對象

主要針對從事 3D 深度學習、電腦視覺與電腦圖形的研究人員與開發者，特別是使用 PyTorch 的使用者。

主要亮點

• 與表示無關的物理模擬：支援網格、點雲與高斯點的碰撞模擬。
• 3D 高斯點渲染：對 GaussianSplatModel 提供第一級支援，包含 PLY/USD I/O 與密度化功能。
• 可微分渲染：包含 PBR、球諧函數與球面高斯光照的工具。
• USD 流程：自訂模式用於匯入與匯出網格、點雲與物理材質。
• 快速轉換：支援網格、體素網格、點雲與高斯點之間的 GPU 加速轉換。
• 結構化點雲：使用 GPU 八元樹加速射線追蹤與特徵網格。