pytorch/tensordict

A dict[str, torch.Tensor] that behaves like one tensor, and TensorClass: typed, batched dataclasses that compile.

解決する課題

PyTorchでテンソルのグループ(トレーニングバッチ、粒子システム、ネストされたデータ構造など)を扱う場合、個々のテンソルに対して繰り返し手動で操作を行う必要があることがよくあります。TensorDictは、これらのテンソルを単一のテンソルのように振る舞うオブジェクトにグループ化することで、手動の再帰や冗長なコードを排除し、このプロセスを簡素化します。

仕組み

TensorDictは、同じ先頭次元(バッチサイズ)を共有するテンソルを格納します。グループ化されているため、GPUへのデータ移動、スライス、シャッフル、スタックといった操作をコレクション全体に対して一度に適用できます。ネストされた構造、可変サイズデータの遅延スタック、およびすべてをRAMに読み込まずに大規模データセットを処理するためのメモリマップストレージをサポートしています。また、torch.compile、vmap、torch.func といったPyTorchの機能と完全に互換性があります。

対象ユーザー

強化学習、物理シミュレーション、気象モデリング、ゲノミクス、ロボティクスなど、大規模で構造化されたデータバッチの管理が重要な課題となる複雑なPyTorchプロジェクトに取り組む研究者や開発者向けに設計されています。

主な特徴

  • 統一された操作: .to(device)、スライス、スタックなどのアクションをテンソルのグループ全体に対して同時に実行可能。
  • ネストのサポート: テンソルのネストされた辞書を処理し、複雑なデータ階層を可能にします。
  • メモリ効率: メモリマップファイルをサポートし、利用可能なメモリよりも大きなデータセットを扱うことができます。
  • パフォーマンス重視: torch.compile や vmap などの関数型プログラミングツールと完全に互換性があります。
  • TensorClass: バッチに対して自動的に動作する型付きフィールドやメソッドを定義するための、dataclassのようなインターフェースを提供します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト