pytorch/tensordict

A dict[str, torch.Tensor] that behaves like one tensor, and TensorClass: typed, batched dataclasses that compile.

解决的问题

在 PyTorch 中处理张量组(例如训练批次、粒子系统或嵌套数据结构)通常需要对每个单独的张量进行重复的手动操作。TensorDict 通过将这些张量组合成一个表现得像单个张量的对象来简化此过程,消除了手动递归或重复代码的需要。

工作原理

TensorDict 存储共享相同前导维度(批次大小)的张量。由于它们被组合在一起,因此移动数据到 GPU、切片、洗牌或堆叠等操作会一次性应用于整个集合。它支持嵌套结构、可变大小数据的延迟堆叠,以及用于处理大型数据集而无需将所有内容加载到 RAM 中的内存映射存储。它与 torch.compile、vmap 和 torch.func 等 PyTorch 功能完全兼容。

适用人群

它专为从事复杂 PyTorch 项目的研究人员和开发人员设计,包括强化学习、物理模拟、天气建模、基因组学和机器人技术,在这些领域中,管理大型结构化数据批次是一个核心挑战。

主要亮点

  • 统一操作:对整个张量组同时执行 .to(device)、切片和堆叠等操作。
  • 嵌套支持:处理张量的嵌套字典,允许复杂的数据层次结构。
  • 内存效率:支持内存映射文件,以处理大于可用内存的数据集。
  • 性能就绪:与 torch.compile 和 vmap 等函数式编程工具完全兼容。
  • TensorClass:提供类似 dataclass 的接口,用于定义类型化字段和方法,这些字段和方法会自动在批次上运行。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目