NVIDIA/cudf-spark
NVIDIA cuDF for Apache Spark plugin - accelerate Apache Spark with GPUs
何を解決するか
NVIDIAのGPUを活用することで、Apache Sparkの処理を高速化し、Sparkエコシステム内のデータ処理タスクに必要な時間を短縮します。
動作方法
このプロジェクトは、cuDF（CUDA DataFrame）ライブラリを使用して、NVIDIA GPU上でSpark SQL操作をオフロードおよび高速化するプラグインライブラリを提供します。
対象ユーザー
大規模なデータ処理にApache Sparkを使用し、GPUアクセラレーションによってパフォーマンスを向上させたいデータエンジニアおよびデータサイエンティスト。
主な特徴
- cuDFライブラリを介したApache SparkのGPUアクセラレーテッド処理。
- 標準のApache Sparkとビット単位で同一の結果を実現することを目指しています。
- XGBoostなどのGPU対応機械学習ライブラリなど、他のGPU対応アプリケーションへのゼロコピーデータ転送APIを提供します。
- パフォーマンス最適化のための個別の資格評価およびプロファイリングツールを含みます。
関連
- プロジェクト
NVIDIA/cudfpandas、Polars、DaskのAPIをミラーリングするGPU高速化データフレームライブラリで、AI/MLワークフロー向けの高速な表形式データのクリーニングと集計を実現します。
- プロジェクト
rapidsai/cugraphGPUアクセラレーションを活用したグラフ解析パッケージのコレクション。グラフの作成・操作およびスケーラブルなグラフアルゴリズムの実行を可能にする。
- プロジェクト
JohnSnowLabs/spark-nlpSpark NLPは、Apache Sparkネイティブのライブラリであり、200以上の言語に対応した膨大な数の事前学習済みNLPおよびLLMモデル（BERT、Llama-2、Whisper、Vision Transformersなど）を提供します。CPU、GPU、Apple-silicon、AArch64ビルドをサポートし、TensorFlow/ONNX/OpenVINOからのモデルインポートが可能で、あらゆるSparkクラスター（Databricks、EMR、GCP Dataprocなど）で実行できます。pipまたはMavenでインストールし、`sparknlp.start()`でSparkセッションを開始して事前学習済みパイプラインを読み込むことで、エンティティ、品詞タグ、埋め込み、翻訳、生成テキストなどのトークンレベルの注釈を取得できます。Apache 2.0ライセンスで提供されています。
- プロジェクト
NVIDIA/gds-nvidia-fsNVIDIA GPUDirect Storageを実装するカーネルドライバ（`nvidia-fs.ko`）で、対応するNVMe、計算ストレージ、またはRDMAファイルシステムがGPUメモリへ直接データを移動可能にし、AI/MLデータパイプラインのスループットを向上させます。
- プロジェクト
NVIDIA/aerial-cuda-accelerated-ranNVIDIA Aerial™ CUDA加速RANは、NVIDIA GPU上で5G PHYおよびMAC処理を実装するオープンソースSDKです。チャネル符号化、変調、MIMO、スケジューリング用のCUDAカーネルと、AI/ML研究用のPython APIを備え、すぐに実行可能なDockerコンテナにパッケージ化されています。