NVIDIA/cudf

해결하는 문제

대규모 데이터셋에서의 작업 속도를 크게 향상시키기 위해 데이터 조작 작업을 CPU에서 GPU로 이동하여 표 형식 데이터 처리를 가속화합니다.

작동 방식

cuDF는 CUDA를 활용하여 데이터프레임을 처리하는 라이브러리 세트를 제공합니다. Apache Arrow 호환 구조를 가진 C++ 커널(libcudf), Python 바인딩(pylibcudf), 그리고 pandas API를 모방하는 고수준 Python API(cudf)를 포함합니다. 또한 Polars의 GPU 엔진으로 통합되며, Dask DataFrames의 GPU 백엔드로도 제공됩니다.

대상 사용자

pandas, Polars, 또는 Dask를 사용하고 있으며 NVIDIA GPU를 활용해 대규모 표 형식 데이터셋을 더 효율적으로 처리하고자 하는 데이터 과학자 및 엔지니어.

주요 특징

• pandas 호환성: pandas API를 모방하는 DataFrame 라이브러리와 기존 pandas 스크립트에 코드 변경 없이 사용 가능한 가속기(cudf.pandas)를 제공.
• GPU 가속: CUDA C++ 및 Apache Arrow를 사용하여 고속 표 형식 데이터 처리를 수행.
• 광범위한 통합: Polars(cudf-polars를 통해) 및 Dask(dask-cudf를 통해)의 GPU 가속을 지원.
• 에코시스템 지원: Spark RAPIDS 및 Sirius SQL 엔진과 같은 기타 고성능 도구를 구동하는 데 사용.