facebookresearch/projectaria_tools

何を解決するか

Project Ariaグラス（Gen1およびGen2）からのデータを処理・分析するための標準化されたツールセットを提供します。拡張現実（AR）、機械認識、人工知能の研究に従事する研究者にとって、複雑なセンサー情報およびオンデバイス機械学習出力を扱うための統一APIを提供することで、作業フローを簡素化します。

仕組み

このプロジェクトは、Aria VRSファイルとインターフェースするC++およびPythonユーティリティのセットを提供します。ユーザーはセンサー・ストリームの読み込み、デバイスのキャリブレーション（内蔵パラメータおよび外部パラメータ）、複数デバイス間のタイムスタンプ同期、オンデバイス認識信号のアクセスが可能です。Gen2データについては、機械認識CSVのエクスポートおよびaria_rerun_viewerを介したインタラクティブ3Dビジュアライゼーションのための特別なツールも含まれています。

対象ユーザー

Project Ariaハードウェアおよび関連オープンデータセットを活用して、新しいモデルの構築・学習を行う機械認識、コンピュータビジョン、AR/AI分野の研究者。

主な特徴

• 統一API: Gen1およびGen2ハードウェアデータの両方をサポートする単一のPython/C++インターフェース。
• 包括的なセンサー対応: RGBカメラ、CVカメラ、眼球追跡、手の追跡、近接センサー、PPG健康センサー、GNSSセンサーへのアクセス。
• オンデバイス認識: オンデバイスVIO/SLAM、21ポイント手の追跡、視線追跡を活用するためのツール。
• データ同期: 複数デバイス間のタイムスタンプ同期および順次マルチセンサーアクセスのための特別なユーティリティ。