NVIDIA/cudf

解决的问题

通过将数据操作任务从 CPU 移动到 GPU，显著加速大规模数据集上的操作，大幅提升表格式数据处理速度。

工作原理

cuDF 提供了一套利用 CUDA 处理数据框的库。它包含一个 C++ 核心（libcudf），其结构符合 Apache Arrow 标准，以及 Python 绑定（pylibcudf）和高阶 Python API（cudf），该 API 与 pandas API 保持一致。它还作为 Polars 的 GPU 引擎集成，并为 Dask DataFrames 提供 GPU 后端。

适用人群

使用 pandas、Polars 或 Dask 并需要利用 NVIDIA GPU 更高效地处理大规模表格式数据集的数据科学家和工程师。

主要亮点

• pandas 兼容性：提供与 pandas API 一致的 DataFrame 库，并提供零代码变更加速器（cudf.pandas），可直接用于现有 pandas 脚本。
• GPU 加速：利用 CUDA C++ 和 Apache Arrow 实现高速表格式数据处理。
• 广泛集成：支持 Polars（通过 cudf-polars）和 Dask（通过 dask-cudf）的 GPU 加速。
• 生态系统支持：为其他高性能工具（如 Spark RAPIDS 和 Sirius SQL 引擎）提供支持。