ACFR-RPG/DynOSAM

해결하는 문제

DynoSAM은 로봇이 자신의 위치를 추정하고 환경을 맵핑하면서 동시에 움직이는 물체의 운동을 추적해야 하는 동적 SLAM(Simultaneous Localization and Mapping)의 과제를 해결합니다. 기존의 SLAM은 움직이는 물체가 카메라의 자세 추정을 혼란스럽게 하여 정확한 맵을 생성하는 데 어려움을 겪습니다.

작동 방식

DynoSAM은 스테레오 또는 RGB-D 비전 오도메트리 파이프라인을 사용하여 카메라 자세, 물체 운동, 정적 배경을 추정합니다. 전처리를 위한 프론트엔드와 최적화를 위한 백엔드로 구성된 모듈식 아키텍처를 채택하고 있습니다.

주요 기술적 구성 요소는 다음과 같습니다:

• 최적화 절차: 전체 배치, 슬라이딩 윈도우, 인크리멘탈 최적화를 지원합니다.
• 객체 탐지: YOLOv8을 통합하여 인스턴스 세그멘테이션과 트래킹을 수행하며, CUDA와 TensorRT로 가속화됩니다.
• 트래킹: 밀도 기반 광학 흐름(RAFT) 또는 희소 KLT 트래킹을 사용합니다.
• 백엔드 정식화: 월드 센트릭 모션 추정기(WCME), 월드 센트릭 포즈 추정기(WCPE), 하이브리드 정식화 등 다양한 운동 추정 모드를 제공합니다.
• 통합: 데이터 처리를 위한 ROS2 및 3D 시각화를 위한 RVIZ와 완전 통합되어 있습니다.

대상 사용자

이 프로젝트는 시각 SLAM, 동적 환경에서의 자율 주행, 몸을 가진 지능(embodied intelligence)에 종사하는 로봇 연구자 및 엔지니어를 위한 것입니다.

주요 특징

• 하드웨어 가속: 프론트엔드 처리 및 객체 탐지의 속도 향상을 위해 CUDA 및 TensorRT 통합.
• 에지 디바이스 지원: NVIDIA ORIN NX(AARM64)에서 테스트 완료.
• 유연한 백엔드: 속도와 정확도의 균형을 맞추기 위한 다양한 최적화 정식화(예: 병렬 하이브리드로 속도 향상).
• 포괄적인 평가: 논문 결과 재현용 스크립트 및 상세한 메트릭(ATE, RPE) 생성 기능을 내장.
• IMU 지원: GTSAM을 통한 IMU 프리인테그레이션 통합.