facebookresearch/projectaria_tools

解决的问题

提供一套标准化工具，供研究人员处理和分析 Project Aria 眼镜（Gen1 和 Gen2）的数据。通过提供统一的 API 来处理复杂的传感器数据和设备端机器学习输出，简化了从事增强现实（AR）、机器感知和人工智能研究的工作流程。

如何工作

该项目提供了一套 C++ 和 Python 工具，可与 Aria VRS 文件进行交互。用户可以加载传感器流，处理设备校准（内参和外参），对多个设备的时间戳进行对齐，并访问设备端感知信号。对于 Gen2 数据，还包含用于导出机器感知 CSV 文件以及通过 aria_rerun_viewer 实现交互式 3D 可视化的专用工具。

适用人群

使用 Project Aria 硬件及其相关开源数据集来构建和训练新模型的机器感知、计算机视觉和 AR/AI 领域的研究人员。

主要亮点

• 统一 API：支持 Gen1 和 Gen2 硬件数据的单一 Python/C++ 接口。
• 全面的传感器支持：可访问 RGB 相机、CV 相机、眼动追踪、手部追踪、接近传感器、PPG 健康传感器和 GNSS 传感器。
• 设备端感知：提供工具以利用设备端 VIO/SLAM、21 点手部追踪和注视追踪。
• 数据对齐：提供专门的工具用于多设备时间戳对齐和顺序多传感器访问。