nvidia-isaac/nvblox

A GPU-accelerated TSDF and ESDF library for robots equipped with RGB-D cameras.

해결 과제

nvblox는 로봇 공학에서 실시간 3D 장면 재구성을 위한 고성능 솔루션을 제공합니다. 로봇이 주변 환경을 3D로 매핑할 수 있게 하여 기하학적 구조를 이해하고 복잡한 환경에서 효과적으로 탐색할 수 있도록 지원합니다.

작동 원리

이 라이브러리는 NVIDIA CUDA 하드웨어를 사용하여 GPU에서 직접 3D 재구성을 수행합니다. 실시간으로 공간 데이터 구조를 구축, 조작 및 쿼리하여 텍스처 매핑 및 경로 계획을 위한 유클리드 부호 거리 필드 (ESDFs) 생성과 같은 작업을 수행할 수 있습니다.

대상 사용자

자율 시스템을 위해 효율적이고 실시간인 공간 인식이 필요한 로봇 공학 개발자와 연구자를 위해 설계되었습니다. C++, Python 및 ROS2를 통한 통합을 지원합니다.

주요 특징

  • NVIDIA GPU에 최적화된 실시간 3D 재구성
  • 다중 인터페이스 지원: C++, Python, ROS2
  • 내비게이션 및 경로 계획을 위한 ESDFs 생성 가능
  • 다중 카메라 재구성 및 텍스처 매핑과 같은 복잡한 작업 처리

관련

  • 프로젝트
    loco-3d/crocoddyl

    접촉 시퀀스 하에서 로봇 제어를 위한 최적 제어 라이브러리로, 효율적인 미분 동적 프로그래밍(DDP) 알고리즘을 사용하여 최적 궤적을 계산합니다.

  • 프로젝트
    thu-ml/Motus

    Motus는 5 B 비디오 생성 모델, 2 B 비전-언어 모델, 그리고 두 개의 소형 전문가 모델을 결합한 Mixture-of-Transformers 월드 모델을 갖춘 연구용 코드베이스입니다. 광학 흐름의 '델타 픽셀'에서 잠재 로봇 액션을 학습하며, 여러 모드(월드 모델 예측, VLA, 역동역학, 비디오 생성)로 실행할 수 있습니다. 저장소는 3단계 훈련 스크립트, RoboTwin 2.0 및 실제 로봇 로그용 데이터 변환 도구, Hugging Face 체크포인트를 제공합니다. RoboTwin 2.0 벤치마크에서 87% 성공률을 보고하며 이전 기준선을 능가합니다.

  • 프로젝트
    neozhaoliang/surround-view-system-introduction

    카메라 캘리브레이션, 지면 투영, 이미지 스티칭, 실시간 디스플레이를 포함하는 초보자 친화적인 오픈소스 차량용 서라운드 뷰 시스템 구현입니다. 상세한 중/영문 문서와 샘플 데이터를 제공하며 커뮤니티 기여를 환영합니다.

  • 프로젝트
    mjbots/moteus

    로봇 분야에서 사용되는 고성능 브러시리스 서보 액추에이터를 위한 하드웨어 및 펌웨어의 완전한 오픈소스 설계를 제공하는 오픈소스 프로젝트입니다.