MIT-SPARK/DAAAM

해결하는 문제

DAAAM은 동적 환경에서 실시간으로 의미론적으로 풍부한 3D 지도를 생성하는 문제를 해결합니다. 이 시스템은 4D 장면 그래프를 즉석에서 구축함으로써 로봇이 이동 중인 객체를 포함하여 공간 내의 '어디에' '무엇이' 있는지 이해할 수 있게 합니다.

작동 원리

이 시스템은 '파운데이션 모델 우선' 접근 방식을 사용합니다. 세그멘테이션을 위한 Segment Anything Model (SAM), 추적을 위한 BotSort, 그리고 그라운딩을 위한 시각-언어 모델 (VLMs)을 결합합니다. 이러한 입력값은 Hydra 프레임워크로 전달되어, 3D 공간에서 시간에 따른 객체와 그 관계를 나타내는 계층적 4D 장면 그래프를 구성합니다.

대상 사용자

이 프로젝트는 실시간으로 주변 환경에 대한 높은 수준의 의미론적 이해가 필요한 자율 시스템을 구축하는 로봇 공학 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 4D 장면 그래프 구축을 위한 실시간 성능.
• 의미론적 그라운딩을 위한 SAM, BotSort 및 VLMs 통합.
• NaVQA 및 SG3D 벤치마크에서 최첨단 결과 달성.
• 로컬 캡셔닝 모델로부터 의미론적 설명을 생성하기 위한 최적화 기반 프론트엔드.