facebookresearch/projectaria_tools

projectaria_tools is an C++/Python open-source toolkit to interact with Project Aria data.

해결하는 문제

Project Aria 안경(Gen1 및 Gen2)에서 발생하는 데이터를 처리하고 분석하기 위한 표준화된 도구 세트를 제공합니다. 증강현실(AR), 기계 인식, 인공지능 연구에 종사하는 연구자들이 복잡한 센서 데이터와 온디바이스 머신러닝 출력을 처리하기 위해 통합된 API를 제공함으로써 작업 흐름을 단순화합니다.

작동 방식

이 프로젝트는 Aria VRS 파일과 인터페이스하는 C++ 및 Python 유틸리티 세트를 제공합니다. 사용자는 센서 스트림을 로드하고, 장치 캘리브레이션(내부 및 외부 파라미터)을 처리하며, 여러 장치 간 타임스탬프를 정렬하고, 온디바이스 인식 신호에 접근할 수 있습니다. Gen2 데이터의 경우, 머신 인식 CSV를 내보내고 aria_rerun_viewer를 통해 인터랙티브 3D 시각화를 제공하는 특수 도구가 포함되어 있습니다.

대상 사용자

Project Aria 하드웨어와 관련 오픈 데이터셋을 활용하여 새로운 모델을 구축하고 훈련하는 기계 인식, 컴퓨터 비전, AR/AI 분야의 연구자들입니다.

주요 특징

통합 API: Gen1 및 Gen2 하드웨어 데이터를 모두 지원하는 단일 Python/C++ 인터페이스.
포괄적인 센서 지원: RGB 카메라, CV 카메라, 눈동자 추적, 손 추적, 근접 센서, PPG 건강 센서, GNSS 센서에 대한 접근.
온디바이스 인식: 온디바이스 VIO/SLAM, 21점 손 추적, 시선 추적을 활용할 수 있는 도구.
데이터 정렬: 다중 장치 타임스탬프 정렬 및 순차적 다중 센서 접근을 위한 특수 유틸리티.