nv-tlabs/NKSR

[CVPR 2023 Highlight] Neural Kernel Surface Reconstruction

解决的问题

NKSR 解决了从大规模、稀疏且噪声严重的点云中重建高质量 3D 隐式表面的挑战。它特别克服了以往神经核表示方法的局限性,能够在保持对噪声鲁棒性的同时,处理跨度达数公里的超大规模场景和数百万个点。

工作原理

该系统基于 Neural Kernel Fields (NKF),并采用了几项关键技术改进:

  • 紧支撑核:使用仅在局部起作用的核函数,从而能够利用内存高效的稀疏线性求解器,实现对大规模环境的扩展。
  • 梯度拟合:实现梯度拟合求解,确保重建结果对输入数据中的噪声具有鲁棒性。
  • 灵活训练:从密集的有向点中学习,使模型能够混合来自尺度截然不同的物体和场景的训练数据。
  • 外存处理:能够处理超出可用内存的超大场景,通过外存方式分块处理。

适用人群

本工具专为从事 3D 计算机视觉、机器人和数字孪生的研究人员和开发者设计,适用于需要将原始、噪声严重的点云数据(如 iPhone 扫描或 LiDAR 数据)转换为干净 3D 网格的场景。

主要亮点

  • 高可扩展性:可在单张消费级 GPU(RTX 3090)上重建跨越数公里、包含数百万点的场景。
  • 快速性能:可在数秒内完成数百万点的重建。
  • 广泛应用:在单个物体、室内场景和室外环境中均被证明有效。
  • 强泛化能力:具备出色的泛化能力,可在新数据上以极低的训练成本运行。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目