LeRobotDataset ビデオエンコーディング形式はロボティクスデータセットのサイズを削減し、トレーニングを高速化する

TL;DR

Hugging Face は LeRobotDataset 形式を導入し、ロボットの視覚データを圧縮ビデオストリームとして保存することで、データセットのサイズを平均で元の 14 % に削減し、ロード時間を高速に保ち、トレーニング性能を変えないままにします。

ロボティクスデータセットとは何か、そしてビデオが有効な理由

エンドツーエンド学習用のロボティクスデータセットは、2 つのモダリティで構成されます：(1) 視覚ストリーム（カメラ画像）と (2) 固有受容感覚または目標位置ベクトル（状態/アクション）。従来、視覚フレームは個別の PNG ファイルとして保存されており、連続フレームが大きな領域で類似しているため冗長性が高いです。ビデオコーデックは 空間圧縮（JPEG のような）と 時間圧縮（フレーム間の差分のみを保存）を利用して、1:20 以上の圧縮率を実現します。視覚モダリティをビデオとしてエンコードすることで、同じ情報を元のサイズのごく一部で保存でき、トレーニング時に迅速にデコードできます。

LeRobotDataset の貢献

  • Simple – エピソードごとに単一のビデオファイルと軽量メタデータファイルだけです。
  • Lightweight – 平均保存サイズは生画像サイズの 14 %（一部のデータセットは <1 % にまで縮小）です。
  • Fast to load – 単一フレームのデコードは PNG のロードと同等で、連続フレームを複数デコードするコストは同数の PNG の 25 %–50 % にすぎません。
  • Easy to share – Hugging Face Hub とのネイティブ統合が可能です。
  • Easy to visualize – インタラクティブな Spaces でビデオと対応するアクションを閲覧できます。

ビデオエンコーディングの仕組み（コーデックの基本）

ビデオエンコーディングは 2 つの仕組みでサイズを削減します：

  1. Spatial compression – 画像内のパターン（例：広い空領域）を利用して各フレームを圧縮します。
  2. Temporal compression – 定期的な keyframes（I‑frames）に対するフレーム間差分（P‑frames/B‑frames）のみを保存します。

エンコードされたビットストリームは MP4 などのコンテナにパッケージされます。著者らはベンチマーク（GitHub リポジトリ参照）を作成し、さまざまなコーデック、ピクセルフォーマット、GOP サイズ、定数レートファクタ（CRF）設定を評価しました。

評価基準

  • Size – 小さなファイルはストレージとダウンロードコストを削減します。
  • Decoding time – フレーム抽出が速くなることでトレーニングが加速します。
  • Quality – ポリシー性能の低下を防ぐために高い視覚忠実度が必要です。
  • Compatibility – ビデオはブラウザや一般的なメディアプレーヤで再生できる必要があり、ピクセルフォーマット yuv420p がこの要件を満たします。

ベンチマーク変数とデータセット

本研究では、解像度とシーンのダイナミクスの幅をカバーする 4 つの代表的なデータセットを使用しました：

データセット 解像度 シーンタイプ
lerobot/pusht_image 96 × 96 シミュレートされた幾何学的形状
aliberts/aloha_mobile_shrimp_image 480 × 640 実世界の屋内、移動カメラ
aliberts/paris_street 720 × 1280 実世界の屋外、移動カメラ
aliberts/kitchen 1080 × 1920 実世界の屋内、固定カメラ

検討したエンコードパラメータは、3 つのコーデック（libx264、libx265、libsvtav1）、2 つのピクセルフォーマット（yuv444p、yuv420p）、GOP サイズ 1〜40、CRF 値 0（ロスレス）から 50（高度にロス）までです。

本番向けに選択された設定（v1.6）

ベンチマークの結果、チームはリリースされたデータセット（v1.6）に対して以下の構成を採用しました：

  • Codec: libsvtav1（AV1 実装）
  • Pixel format: yuv420p
  • GOP size: 2（キー フレームは 2 フレームごと）
  • CRF: 30（品質と圧縮のバランス）

これらの設定は、従来の libx264 ベースの v1.5 と比較して視覚品質を向上させ、互換性を維持しました。

実現したサイズ削減

70 以上の公開ロボットデータセットにおいて、平均圧縮率は元のサイズの 14 % です。ソース画像が非圧縮の場合、いくつかのデータセットは 0.2 % まで縮小しました。例として：

  • lerobot/nyu_rot_dataset: 5.3 MB → 318 KB (5.8 %)
  • lerobot/utokyo_xarm_pick_and_place: 1.3 GB → 54.6 MB (4.1 %)
  • lerobot/berkeley_gnm_recon*: 18.7 GB → 29.3 MB (0.2 %)

完全な表は元のブログ記事に掲載されています。

ロード時間のパフォーマンス

ビデオを使用すると、解像度に対するロード時間のスケーリングがはるかに良くなります。有利 なシナリオ（複数の連続フレーム）では、デコード時間は PNG のベースラインの 4 %–48 % で、解像度とコーデックに依存します。ソースのグラフは 2 フレームおよび 6 フレームバッチで明確な優位性を示しています。

品質指標

著者らはデコードされたフレームに対して、3 つの標準的な画像品質指標を測定しました：

  • MSE（低いほど良い）
  • PSNR（高いほど良い）
  • SSIM（高いほど良い）

4 つのベンチマークデータセットにおいて、libsvtav1 と yuv420p、crf=30 の組み合わせは常に最高の PSNR と SSIM を達成し、MSE を低く保ちました。例として、aliberts/kitchen データセットでは、AV1 が PSNR = 39.20 dB と SSIM = 96.84 % を記録し、H.264 と H.265 の両方を上回っています。

ポリシートレーニングへの影響

2 つの代表的なポリシー（pusht データセット上の Diffusion と aloha データセット上の ACT）のトレーニング曲線は、ビデオエンコード形式を使用しても劣化が見られませんでした。曲線は生の PNG データから得られたものと重なり、圧縮が学習に悪影響を与えないことが確認されました。

今後の方向性

現在のベンチマークでは、いくつかのエンコード設定（例：-preset、-tune、2 パスエンコーディング）や代替デコーダ（torchcodec、decord など）を省略しています。これらを検討することで、サイズ・品質・速度のトレードオフをさらに改善できる可能性があります。さらに、RGB フレームと共に深度マップをエンコードすることも未解決の課題です。

なぜ重要か

視覚データを効率的なビデオストリームに圧縮することで、Hugging Face は大規模なロボット学習データセットの保存、共有、トレーニングを実用的にしました。このアプローチは、すでに大規模インターネットデータの恩恵を受けている他の AI 分野とロボティクスとのギャップを縮め、エンドツーエンドのロボットポリシー学習の研究を加速させる可能性があります。

Sources