NVIDIAGameWorks/kaolin

何を解決するか

Kaolin は、GPU最適化された再利用可能なブロックを提供することで、3Dディープラーニングの研究を加速するためのPyTorchライブラリです。メッシュ、ポイントクラウド、ガウシアンスプラットなど、さまざまな3D表現の取り扱いを簡素化し、微分可能レンダリングや物理シミュレーションのツールを提供します。これらは通常、独自に実装するのは非常に複雑です。

どう動くか

Kaolin は、複数の専門的な3D操作を統合した一貫したPyTorch APIを提供します。Simplicitsを介した表現に依存しない物理シミュレーション、nvdiffrastやDIB-Rなどの微分可能レンダリングエンジン、GPUオクツリー加速構造（Structured Point Clouds）を提供します。また、異なる3Dフォーマット間の変換（例：ボクセルグリッドからメッシュ）を処理し、クォータニオン数学やUSD I/Oのユーティリティも提供します。

対象ユーザー

主に3Dディープラーニング、コンピュータビジョン、コンピュータグラフィックスに取り組む研究者や開発者を対象としています。特にPyTorchを使用している方々に適しています。

主な特徴

• 表現に依存しない物理シミュレーション：メッシュ、スプラット、ポイントクラウドの衝突をサポート。
• 3Dガウシアンスプラッティング：GaussianSplatModelの第一級サポート、PLY/USD I/O、密度化を含む。
• 微分可能レンダリング：PBR、球面調和、球面ガウス照明のためのツールを含む。
• USDパイプライン：メッシュ、ポイントクラウド、物理マテリアルのインポート・エクスポート用のカスタムスキーマ。
• 高速変換：メッシュ、ボクセルグリッド、ポイントクラウド、ガウシアン間のGPU加速変換。
• 構造化ポイントクラウド：レイトレーシングと特徴グリッド用のGPUオクツリー加速。