pytorch/tensordict
A dict[str, torch.Tensor] that behaves like one tensor, and TensorClass: typed, batched dataclasses that compile.
解决的问题
在 PyTorch 中处理张量组(例如训练批次、粒子系统或嵌套数据结构)通常需要对每个单独的张量进行重复的手动操作。TensorDict 通过将这些张量组合成一个表现得像单个张量的对象来简化此过程,消除了手动递归或重复代码的需要。
工作原理
TensorDict 存储共享相同前导维度(批次大小)的张量。由于它们被组合在一起,因此移动数据到 GPU、切片、洗牌或堆叠等操作会一次性应用于整个集合。它支持嵌套结构、可变大小数据的延迟堆叠,以及用于处理大型数据集而无需将所有内容加载到 RAM 中的内存映射存储。它与 torch.compile、vmap 和 torch.func 等 PyTorch 功能完全兼容。
适用人群
它专为从事复杂 PyTorch 项目的研究人员和开发人员设计,包括强化学习、物理模拟、天气建模、基因组学和机器人技术,在这些领域中,管理大型结构化数据批次是一个核心挑战。
主要亮点
- 统一操作:对整个张量组同时执行
.to(device)、切片和堆叠等操作。 - 嵌套支持:处理张量的嵌套字典,允许复杂的数据层次结构。
- 内存效率:支持内存映射文件,以处理大于可用内存的数据集。
- 性能就绪:与
torch.compile和vmap等函数式编程工具完全兼容。 - TensorClass:提供类似 dataclass 的接口,用于定义类型化字段和方法,这些字段和方法会自动在批次上运行。
相关
- 项目
- 项目
- 项目
- 项目
- 项目