v-modal/vmodal_sdk_robotics

Robotics vision SDK

解決的問題

此 SDK 為機器人技術和實體 AI 提供具備崩潰恢復能力的數據上傳通道,專門設計用於將 LeRobot 數據集工件(影片、遙測數據和中繼資料)從機器人移動到遠端伺服器,避免在網路不穩定或電源故障期間發生數據遺失的風險。

運作方式

系統使用「交接協定」,錄製器關閉檔案並發布 .ready.json 清單。SDK 接著:

  1. 驗證與暫存:驗證清單並將引用的檔案複製到持久的本地暫存區(使用 SQLite 的 WAL 模式進行狀態追蹤,並使用原子檔案操作處理數據)。
  2. 獨立通道:透過影片和輔助數據(遙測/中繼資料)的獨立非同步通道處理上傳,確保大型影片檔案不會阻擋關鍵遙測數據。
  3. 可靠傳輸:管理指數退避的重試機制,並執行「重新啟動協調」以恢復因崩潰或電源中斷而中斷的上傳狀態。
  4. 傳輸抽象化:狹窄的 Transport 介面允許 SDK 與各種後端(如 S3、R2 或 V-Modal 雲端)配合使用,無需錄製器依賴這些用戶端。

適用對象

使用 LeRobot 框架的機器人工程師和 AI 研究人員,他們需要一種可靠的方式,從經歷間歇性連線或電源循環的硬體,將數據集擷取內容串流到雲端或本地儲存。

重點特色

  • 崩潰恢復能力:使用 fsync、原子重新命名和 SQLite WAL 模式,確保數據在程序崩潰和電源中斷後仍能存活。
  • 校驗和金鑰暫存:每個工件都透過 SHA-256 雜湊追蹤,以防止損壞並確保身份穩定性。
  • 通道獨立性:透過分離影片和輔助數據流,防止遙測數據飢餓。
  • 嚴格交接:強制明確的邊界,錄製器擁有可變檔案,上傳器擁有不可變位元組。
  • 低依賴性:核心執行環境僅需 CPython 和 Fire,避免在機器人上依賴 PyTorch 或 ROS 等重型依賴。

相關

  • 專案
  • 專案
  • 專案
  • 專案