NVIDIA/nccl-tests

何を解決するか

このプロジェクトは、NVIDIA Collective Communications Library (NCCL) のパフォーマンスと正しさを検証するテストスイートを提供します。開発者やシステム管理者が、マルチGPUおよびマルチノード間の通信が最適な効率で動作しているか、ネットワーク上でデータが正しく転送されているかを確認できるようにします。

動作方法

ツールキットは、さまざまなNCCLコラボラティブ操作（Allreduce、Broadcast、ReduceScatterなど）を実行する一連のバイナリから構成されています。単一ノード上の複数GPUで実行するか、MPI（Message Passing Interface）を使用してプロセスを管理しながら複数ノードにまたがって実行できます。ユーザーはデータサイズ、GPU数、反復回数などのパラメータを指定して、レイテンシと帯域幅（特に「busbw」）を測定できます。

対象ユーザー

ハイパフォーマンスコンピューティング（HPC）およびAIインフラを扱うエンジニア、特に大規模モデルの分散学習や推論にNVIDIA GPUを使用している方々を対象としています。

主な特徴

• パフォーマンスベンチマーク: 異なるデータサイズおよびコラボラティブ操作の幅広い範囲で帯域幅とレイテンシを測定します。
• 正しさの検証: -c フラグにより、コラボラティブ操作の結果が数学的に正しいかを確認できます。
• マルチノード対応: MPIと統合され、複数の物理サーバーにわたってテストをスケーリングできます。
• 柔軟な設定: カスタムデータ型、還元操作（和、積、最小値、最大値、平均）、CUDAグラフキャプチャによる最適化実行をサポートします。