huggingface/datasets

🤗 The largest hub of ready-to-use datasets for AI models with fast, easy-to-use and efficient data manipulation tools

What it solves

🤗 Datasets는 머신러닝을 위한 데이터 접근 및 준비 과정을 단순화하도록 설계된 경량 라이브러리입니다. 텍스트, 오디오, 이미지, 비디오, 3D 의료 영상 등 다양한 모달리티의 대규모 공개 데이터셋을 다운로드하고 전처리하는 데 있어 포맷이 분산되고 어려운 문제를 해결합니다.

How it works

이 라이브러리는 load_dataset() 함수를 중심으로 하는 통합 API를 제공하여 Hugging Face Hub 또는 로컬 파일에서 데이터셋을 다운로드하고 준비할 수 있게 합니다. Apache Arrow 백엔드를 사용한 제로‑카피 메모리 매핑 스토리지를 통해 RAM 제한을 없애며, 매우 큰 데이터셋의 경우 전체를 디스크에 다운로드하지 않고도 실시간으로 데이터를 순회할 수 있는 "스트리밍 모드"를 제공합니다.

Who it’s for

PyTorch, TensorFlow, JAX, NumPy, Pandas, Polars 등 다양한 프레임워크와 함께 데이터셋을 효율적으로 로드·처리·통합하려는 ML 실무자, 연구자, 데이터 과학자를 위해 만들어졌습니다.

Highlights

One-line loading: Hugging Face Hub를 통해 수천 개의 공개 데이터셋에 한 줄 코드로 빠르게 접근.
Multi-modal support: 텍스트, 오디오, 이미지, 비디오, PDF, NIfTI(3D 의료) 데이터를 네이티브하게 처리.
Streaming mode: 전체 다운로드 없이 대규모 데이터셋을 순회하여 대기 시간을 크게 단축.
Efficient pre-processing: .map() 함수와 멀티프로세싱 지원을 통한 빠르고 병렬적인 데이터 조작.
Multi-framework interoperability: 다양한 데이터 사이언스 라이브러리와 ML 프레임워크 간의 원활한 변환.
Smart caching: 캐시된 결과를 자동으로 재사용해 중복 처리를 방지합니다.