nv-tlabs/NKSR

何を解決するか

NKSRは、大規模で疎でノイズの多い点群から高品質な3D陰関数表面を再構成する課題に対処します。従来のニューラルカーネル表現の限界を克服し、数キロメートルにわたる巨大なシーンや数百万点の点群を処理可能にしながら、ノイズに対して堅牢性を維持します。

動作方法

このシステムはNeural Kernel Fields (NKF) を基盤とし、いくつかの重要な技術的改善を採用しています：

• 局所的サポートを持つカーネル：局所的に作用するカーネル関数を使用し、メモリ効率の高いスパース線形ソルバーを活用することで、大規模な環境へのスケーラビリティを実現します。
• 勾配フィッティング：入力データのノイズに対して再構成が堅牢になるように、勾配フィッティングソルバーを実装しています。
• 柔軟な学習：密度の高い向き付き点から学習するため、スケールが全く異なるオブジェクトやシーンのデータを混合してトレーニングできます。
• オフコア処理：利用可能なメモリを超える非常に大きなシーンを、オフコア処理により処理可能にしています。

対象ユーザー

このツールは、3Dコンピュータビジョン、ロボティクス、デジタルツイン分野で作業する研究者や開発者向けです。iPhoneスキャンやLiDARデータなどのノイズの多い原始点群データを、クリーンな3Dメッシュに変換する必要がある方々に最適です。

主な特徴

• 高いスケーラビリティ：1台のコンシューマーGPU（RTX 3090）で数キロメートルにわたるシーンと数百万点の点群を再構成可能。
• 高速性能：数百万点の点群を数秒で再構成可能。
• 多様な応用：単一オブジェクト、屋内シーン、屋外環境のすべてで有効性が実証されています。
• 汎化能力：強力な汎化能力を維持しており、新しいデータに対して最小限のトレーニングで動作可能。