v-modal/vmodal_sdk_robotics

解決する問題

このSDKは、ロボティクスおよび物理AI向けのクラッシュ耐性データアップロードを提供し、LeRobotデータセット成果物（ビデオ、テレメトリ、メタデータ）をロボットからリモートサーバーへ、ネットワーク不安定や電源障害時にデータ損失のリスクなしで転送するよう特別に設計されています。

仕組み

システムは「ハンドオフプロトコル」を使用し、レコーダーがファイルを閉じて .ready.json マニフェストを公開します。SDKは次のことを行います：

1. 検証とスプール：マニフェストを検証し、参照されたファイルを耐久性のあるローカルスプールにコピーします（状態追跡にはSQLiteのWALモード、データにはアトミックファイル操作を使用）。
2. 独立レーン：ビデオと補助データ（テレメトリ/メタデータ）用の別々の非同期レーンでアップロードを処理し、大きなビデオファイルが重要なテレメトリをブロックしないようにします。
3. 信頼性の高い転送：指数バックオフで再試行を管理し、「再起動調整」を実行して、クラッシュや電源喪失で中断されたアップロードの状態を回復します。
4. 転送抽象化：狭い Transport インターフェースにより、SDKは様々なバックエンド（S3、R2、V-Modalクラウドなど）で動作し、レコーダーがそれらのクライアントに依存する必要がありません。

対象者

LeRobotフレームワークを使用するロボティクスエンジニアやAI研究者で、断続的な接続や電源サイクルが発生するハードウェアから、データセットキャプチャをクラウドやオンプレミスストレージに確実にストリーミングする必要がある方。

ハイライト

• クラッシュ耐性：fsync、アトミックリネーム、SQLite WALモードを使用して、プロセスクラッシュや電源喪失後もデータが存続することを保証します。
• チェックサムキースプール：各成果物はSHA-256ハッシュで追跡され、破損を防ぎ、アイデンティティの安定性を確保します。
• レーン独立性：ビデオと補助データフローを分離することで、テレメトリの枯渇を防ぎます。
• 厳格なハンドオフ：レコーダーが可変ファイルを所有し、アップローダーが不変バイトを所有する明確な境界を強制します。
• 低依存フットプリント：コアランタイムはCPythonとFireのみを必要とし、ロボット上でPyTorchやROSなどの重い依存関係を回避します。