NVIDIA/cudf-spark

NVIDIA cuDF for Apache Spark plugin - accelerate Apache Spark with GPUs

何を解決するか

NVIDIAのGPUを活用することで、Apache Sparkの処理を高速化し、データ処理タスクに必要な時間を短縮します。

動作方法

このプロジェクトは、cuDF（CUDA DataFrame）ライブラリを使用してSpark処理をNVIDIA GPUにオフロードするプラグインライブラリを提供します。

対象ユーザー

GPUアクセラレーションによりデータ処理パフォーマンスを向上させたい、Apache Sparkを使用するデータエンジニアおよび開発者。

主な特徴

  • cuDFライブラリを介したApache SparkのGPUアクセラレーテッド処理。
  • 標準のApache Sparkとビット単位で同一の結果を実現することを目指しています。
  • XGBoostなどのGPU対応MLライブラリなど、他のGPU対応アプリケーションへのゼロコピー・データ転送用APIを提供します。
  • GPUアクセラレーテッドのユーザー定義関数（UDFs）をサポートします。

関連

  • プロジェクト
    NVIDIA/cudf

    pandas APIを模倣し、PolarsおよびDaskと統合するGPUアクセラレートDataFrameライブラリ。

  • プロジェクト
    rapidsai/cugraph

    GPUアクセラレーションを活用したグラフ解析パッケージのコレクション。グラフの作成・操作およびスケーラブルなグラフアルゴリズムの実行を可能にする。

  • プロジェクト
    NVIDIA/CUDALibrarySamples

    A collection of GPU-accelerated examples demonstrating the use of NVIDIA CUDA libraries for high-performance math, image processing, and linear algebra.

  • プロジェクト
    pyscf/gpu4pyscf

    PySCF用のGPUアクセラレーションプラグインで、ハートリー・フォックおよび密度汎関数理論計算を含む量子化学シミュレーションを高速化します。

  • プロジェクト
    neka-nat/cupoch

    ロボット工学における高速3Dデータ処理のためのGPU加速ライブラリ。高パフォーマンスな点群アルゴリズム、衝突回避、経路計画を提供。