facebookresearch/projectaria_tools

解決的問題

提供一套標準化的工具，供研究人員處理和分析 Project Aria 眼鏡（Gen1 與 Gen2）的資料。透過提供統一的 API 來處理複雜的感測器資料與設備端機器學習輸出，簡化從事擴增實境（AR）、機器感知與人工智慧研究的工作流程。

如何運作

本專案提供一組 C++ 與 Python 工具，可與 Aria VRS 檔案進行互動。使用者可載入感測器串流、處理裝置校準（內參與外參）、對齊多台裝置的時間戳，並存取設備端感知訊號。針對 Gen2 資料，還包含專用工具，可用於匯出機器感知 CSV 檔案，以及透過 aria_rerun_viewer 實現互動式 3D 可視化。

適用對象

使用 Project Aria 硬體及其相關開源資料集，以建構與訓練新模型的機器感知、電腦視覺與 AR/AI 領域研究人員。

主要特色

• 統一 API：支援 Gen1 與 Gen2 硬體資料的單一 Python/C++ 接口。
• 全面的感測器支援：可存取 RGB 相機、CV 相機、眼動追蹤、手部追蹤、接近感測器、PPG 健康感測器與 GNSS 感測器。
• 設備端感知：提供工具以利用設備端 VIO/SLAM、21 點手部追蹤與凝視追蹤。
• 資料對齊：提供專用工具，用於多裝置時間戳對齊與順序式多感測器存取。