pytorch/tensordict

A dict[str, torch.Tensor] that behaves like one tensor, and TensorClass: typed, batched dataclasses that compile.

해결하는 문제

PyTorch에서 텐서 그룹(학습 배치, 입자 시스템, 중첩된 데이터 구조 등)을 다룰 때는 개별 텐서마다 반복적인 수동 작업이 필요한 경우가 많습니다. TensorDict는 이러한 텐서들을 단일 텐서처럼 동작하는 하나의 객체로 그룹화하여 수동 재귀나 반복적인 코드 작성의 필요성을 없애줍니다.

작동 방식

TensorDict는 동일한 선행 차원(배치 크기)을 공유하는 텐서들을 저장합니다. 그룹화되어 있기 때문에 데이터를 GPU로 이동하거나, 슬라이싱, 셔플링, 스태킹하는 등의 작업을 전체 컬렉션에 대해 한 번에 적용할 수 있습니다. 중첩된 구조, 가변 크기 데이터의 지연 스태킹(lazy stacking), 그리고 모든 데이터를 RAM에 로드하지 않고도 대규모 데이터셋을 처리할 수 있는 메모리 매핑 스토리지를 지원합니다. 또한 torch.compile, vmap, torch.func와 같은 PyTorch 기능과 완벽하게 호환됩니다.

대상 사용자

강화 학습, 물리 시뮬레이션, 기상 모델링, 유전체학, 로봇 공학 등 대규모의 구조화된 데이터 배치를 관리하는 것이 핵심 과제인 복잡한 PyTorch 프로젝트를 수행하는 연구자와 개발자를 위해 설계되었습니다.

주요 특징

  • 통합 작업: .to(device), 슬라이싱, 스태킹과 같은 작업을 텐서 그룹 전체에 대해 동시에 수행합니다.
  • 중첩 지원: 텐서의 중첩된 딕셔너리를 처리하여 복잡한 데이터 계층 구조를 지원합니다.
  • 메모리 효율성: 메모리 매핑 파일을 지원하여 사용 가능한 메모리보다 큰 데이터셋으로 작업할 수 있습니다.
  • 성능 최적화: torch.compile 및 vmap과 같은 함수형 프로그래밍 도구와 완벽하게 호환됩니다.
  • TensorClass: 배치에 대해 자동으로 작동하는 타입이 지정된 필드와 메서드를 정의하기 위한 dataclass와 유사한 인터페이스를 제공합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트