NVIDIA/cudf-spark
NVIDIA cuDF for Apache Spark plugin - accelerate Apache Spark with GPUs
解决的问题
通过利用GPU加速Apache Spark处理，减少Spark生态系统内数据处理任务所需的时间。
工作原理
该项目提供一个插件库，使用cuDF（CUDA DataFrame）库将Spark SQL操作卸载到NVIDIA GPU上并加速执行。
适用人群
使用Apache Spark进行大规模数据处理，并希望通过GPU加速提升性能的数据工程师和数据科学家。
主要亮点
- 通过cuDF库实现Apache Spark的GPU加速处理。
- 旨在与标准Apache Spark实现逐位完全一致的结果。
- 提供API，实现与其他GPU支持的应用程序（如XGBoost等机器学习库）之间的零拷贝数据传输。
- 包含独立的资格评估和性能分析工具，用于性能优化。
相关
- 项目
NVIDIA/cudf一个GPU加速的DataFrame库，镜像pandas、Polars和Dask API，为AI/ML工作流程提供快速的表格数据清洗和聚合功能。
- 项目
- 项目
JohnSnowLabs/spark-nlpSpark NLP 是一个 Apache Spark 原生库，为超过 200 种语言提供了海量的预训练 NLP 和 LLM 模型（如 BERT、Llama-2、Whisper、Vision Transformers 等）。它支持 CPU、GPU、Apple-silicon 和 AArch64 构建，可导入 TensorFlow/ONNX/OpenVINO 模型，并可在任何 Spark 集群（Databricks、EMR、GCP Dataproc 等）上运行。通过 pip 或 Maven 安装，使用 `sparknlp.start()` 启动 Spark 会话，加载预训练流水线，即可获得实体、词性标注、嵌入、翻译或生成文本等 Token 级别的注释。采用 Apache 2.0 许可。
- 项目
NVIDIA/gds-nvidia-fs一个内核驱动程序（`nvidia-fs.ko`），实现了 NVIDIA GPUDirect Storage，允许支持的 NVMe、计算存储或 RDMA 文件系统将数据直接移动到 GPU 内存，从而显著提升 AI/ML 数据流水线的吞吐量。
- 项目
NVIDIA/aerial-cuda-accelerated-ranNVIDIA Aerial™ CUDA 加速 RAN 是一个开源 SDK，可在 NVIDIA GPU 上实现 5G 物理层（PHY）和 MAC 层处理。包含用于信道编码、调制、MIMO 和调度的 CUDA 内核，以及用于 AI/ML 研究的 Python API，全部打包为可立即运行的 Docker 容器。