NVIDIA/cudf-spark
NVIDIA cuDF for Apache Spark plugin - accelerate Apache Spark with GPUs
해결하는 문제
NVIDIA GPU를 활용하여 Apache Spark 처리를 가속화하여 Spark 생태계 내 데이터 처리 작업에 소요되는 시간을 단축합니다.
작동 방식
이 프로젝트는 cuDF(CUDA DataFrame) 라이브러리를 사용하여 Spark SQL 작업을 NVIDIA GPU로 오프로드하고 가속화하는 플러그인 라이브러리를 제공합니다.
대상 사용자
대규모 데이터 처리에 Apache Spark를 사용하고 GPU 가속을 통해 성능을 향상시키고자 하는 데이터 엔지니어 및 데이터 과학자.
주요 특징
- cuDF 라이브러리를 통해 Apache Spark의 GPU 가속 처리.
- 표준 Apache Spark와 비트 단위로 동일한 결과를 목표로 합니다.
- XGBoost와 같은 GPU 기반 머신러닝 라이브러리와 같은 다른 GPU 지원 애플리케이션으로 데이터를 제로 코피 전송할 수 있는 API 제공.
- 성능 최적화를 위한 별도의 자격 평가 및 프로파일링 도구 포함.
관련
- 프로젝트
NVIDIA/cudfpandas, Polars, Dask API를 미러링하는 GPU 가속 데이터프레임 라이브러리로, AI/ML 워크플로우를 위한 빠른 표 형식 데이터 정리 및 집계를 지원합니다.
- 프로젝트
rapidsai/cugraphGPU 가속을 활용한 그래프 분석 패키지 모음으로, 그래프 생성 및 조작, 확장 가능한 그래프 알고리즘 실행을 가능하게 합니다.
- 프로젝트
JohnSnowLabs/spark-nlpSpark NLP는 Apache Spark 네이티브 라이브러리로, 200개 이상의 언어에 대해 방대한 사전 학습된 NLP 및 LLM 모델(BERT, Llama-2, Whisper, Vision Transformers 등)을 제공합니다. CPU, GPU, Apple-silicon 및 AArch64 빌드를 지원하며, TensorFlow/ONNX/OpenVINO에서 모델을 가져올 수 있고, 모든 Spark 클러스터(Databricks, EMR, GCP Dataproc 등)에서 실행 가능합니다. pip 또는 Maven을 통해 설치하고 `sparknlp.start()`로 Spark 세션을 시작하여 사전 학습된 파이프라인을 로드하면 엔티티, 품사 태그, 임베딩, 번역 또는 생성된 텍스트와 같은 토큰 수준의 주석을 얻을 수 있습니다. Apache 2.0 라이선스로 제공됩니다.
- 프로젝트
NVIDIA/gds-nvidia-fs지원되는 NVMe, 계산 스토리지 또는 RDMA 파일시스템이 GPU 메모리로 직접 데이터를 이동할 수 있도록 하는 NVIDIA GPUDirect Storage를 구현하는 커널 드라이버(`nvidia-fs.ko`)로, AI/ML 데이터 파이프라인의 처리량을 향상시킵니다.
- 프로젝트
NVIDIA/aerial-cuda-accelerated-ranNVIDIA Aerial™ CUDA 가속 RAN은 NVIDIA GPU에서 5G PHY 및 MAC 처리를 구현하는 오픈소스 SDK입니다. 채널 부호화, 변조, MIMO, 스케줄링용 CUDA 커널과 AI/ML 연구용 Python API를 포함하며, 즉시 실행 가능한 Docker 컨테이너에 패키지화되어 있습니다.