nv-tlabs/NKSR

해결하는 문제

NKSR는 대규모, 희박하고 노이즈가 많은 점군에서 고품질의 3D 음함수 표면을 재구성하는 문제를 해결합니다. 기존의 신경 카널 표현의 한계를 극복하여, 수 킬로미터에 이르는 거대한 장면과 수백만 개의 점을 처리할 수 있으며, 노이즈에 대해 강건합니다.

작동 방식

이 시스템은 Neural Kernel Fields (NKF)를 기반으로 하며, 몇 가지 핵심적인 기술적 개선을 적용합니다:

• 지역 지원 카널: 국소적으로만 작용하는 커널 함수를 사용하여 메모리 효율적인 스파스 선형 해법기를 활용해 대규모 환경으로 확장 가능합니다.
• 기울기 피팅: 입력 데이터의 노이즈에 대해 재구성이 강건하도록 기울기 피팅 해법을 구현합니다.
• 유연한 학습: 밀도 높은 방향성 점에서 학습하여, 규모가 매우 다른 객체와 장면의 데이터를 혼합해 학습할 수 있습니다.
• 오프코어 처리: 사용 가능한 메모리보다 큰 장면을 오프코어 방식으로 처리할 수 있습니다.

대상 사용자

이 도구는 3D 컴퓨터 비전, 로보틱스, 디지털 트윈 분야에서 일하는 연구자 및 개발자들을 위한 것입니다. iPhone 스캔이나 LiDAR 데이터와 같은 노이즈가 많은 원시 점군 데이터를 깨끗한 3D 메시로 변환해야 하는 경우에 적합합니다.

주요 특징

• 높은 확장성: 단일 소비자 GPU(RTX 3090)에서 수 킬로미터에 이르는 장면과 수백만 개의 점을 재구성할 수 있습니다.
• 빠른 성능: 수백만 개의 점을 몇 초 내에 재구성할 수 있습니다.
• 다양한 응용: 단일 객체, 실내 장면, 실외 환경 모두에서 효과가 입증되었습니다.
• 일반화 능력: 강력한 일반화 능력을 유지하여, 새로운 데이터에 대해 최소한의 학습으로도 작동 가능합니다.