NVIDIA/cudf-spark

해결하는 문제

NVIDIA GPU를 활용하여 Apache Spark 처리를 가속화하여 데이터 처리 작업에 소요되는 시간을 단축합니다.

작동 방식

이 프로젝트는 cuDF(CUDA DataFrame) 라이브러리를 사용하여 Spark 처리를 NVIDIA GPU로 오프로드하는 플러그인 라이브러리를 제공합니다.

대상 사용자

GPU 가속을 통해 데이터 처리 성능을 향상시키고자 하는 Apache Spark 사용자인 데이터 엔지니어 및 개발자.

주요 특징

• cuDF 라이브러리를 통해 Apache Spark의 GPU 가속 처리를 제공합니다.
• 표준 Apache Spark와 비트 단위로 동일한 결과를 목표로 합니다.
• XGBoost와 같은 GPU 기반 ML 라이브러리와 같은 다른 GPU 지원 애플리케이션으로 데이터를 제로 코피 전송할 수 있는 API를 제공합니다.
• GPU 가속을 지원하는 사용자 정의 함수(UDFs)를 지원합니다.