facebookresearch/vrs

解決的問題

VRS 提供專用的檔案格式與函式庫，用於記錄與播放高容量的時間戳記傳感器資料流。它解決了如何有效儲存與存取來自多個裝置的多樣化資料類型（例如影像、音訊、IMU、溫度讀數）的問題，這些資料需在單一同步檔案中進行組織，對於開發 VR/AR 硬體中的位置追蹤與手部追蹤等系統至關重要。

工作原理

資料依裝置分組為資料流，每個資料流包含依時間排序的記錄。每筆記錄由類型化的內容區塊（例如元資料、影像或音訊）組成。為最大化效率，每個資料流的元資料僅需描述一次，記錄可使用 lz4 或 zstd 進行無損壓縮。系統支援多執行緒並行記錄、隨機存取播放，並支援超大檔案（多 TB 級別）的自動分塊。此外，還包含 C++ 函式庫、Python 接口（pyvrs）以及用於檢查與視覺化的工具。

適用對象

專為處理傳感器密集型硬體（如 AR/VR 頭戴裝置（例如 Meta Quest、Aria 眼鏡）與機器人）的研究人員與工程師設計，他們需要一種高效的方式來記錄與分析同步的多模態傳感器資料。

主要亮點

• 多模態支援：支援同步資料流中的影像、音訊以及離散傳感器資料（IMU、GPS 等）。
• 高效率：支援多執行緒並行記錄與高效的無損壓縮。
• 可擴展性：可處理多 TB 級別的大檔案，並支援自動分塊。
• 靈活播放：針對時間戳順序優化（非常適合網路串流），同時支援隨機存取。
• 可擴展性：透過自訂 FileHandler 實作，支援雲端儲存串流。