meta-pytorch/data

해결하는 문제

TorchData는 PyTorch를 위한 확장성 있고 성능이 뛰어난 데이터 로딩 솔루션을 제공하여, 더 나은 상태 관리와 유연한 데이터 전처리 파이프라인의 필요성을 해결합니다.

작동 방식

표준 PyTorch DataLoader와 Dataset을 두 가지 주요 구성 요소를 통해 개선합니다:

• StatefulDataLoader: 표준 DataLoader의 즉시 대체품으로, state_dict와 load_state_dict 메서드를 추가하여 사용자가 에포크 중간 지점에서 체크포인트를 저장하고 재개할 수 있도록 하며, 사용자 정의 반복 진행 상황과 RNG 상태를 추적할 수 있습니다.
• torchdata.nodes: 조합 가능한 반복자 라이브러리로, 스트리밍 프로그래밍 모델을 사용하여 일반적인 데이터 로딩 및 전처리 작업을 연결할 수 있습니다.

대상 사용자

큰 데이터셋을 처리해야 하며, 훈련을 정확히 중단 지점에서 재개해야 하는 PyTorch를 사용하는 머신러닝 엔지니어 및 연구자들입니다.

주요 특징

• 에포크 중간 체크포인트: 데이터로더의 정확한 상태를 저장하고 복원할 수 있도록 합니다.
• 조합 가능한 반복자: 전처리 단계를 연결하는 스트리밍 모델을 제공합니다.
• 즉시 대체 가능: StatefulDataLoader는 기존 PyTorch 워크플로에 쉽게 통합됩니다.