ROCm/rccl

何を解決するか

RCCL（ROCm Communication Collectives Library）は、GPU向けの標準化された通信ルーチンのセットを提供します。複数のGPU間、特に1つのノード内またはクラスタ内の複数ノードに分散しているGPU間で、効率的にデータを移動・同期する問題を解決します。

動作方法

RCCLは、all-reduce、all-gather、reduce、broadcast、reduce-scatter、gather、scatter、all-to-allといった標準的な集団通信パターンを実装しており、GPU間の直接的な送受信操作もサポートしています。最大のスループットと最小のレイテンシを実現するために、最適化されたリングおよびツリーアルゴリズムを使用しています。このライブラリは、PCIe、xGMI、InfiniBand Verbs、TCP/IPソケットなど、さまざまなハードウェアインターフェースにおいて高帯域幅を最適化しています。

対象ユーザー

AMD GPU上でROCmソフトウェアスタックを使用する、マルチGPUスケーリングと同期を必要とする高性能計算（HPC）およびAIアプリケーションを開発する開発者向けに設計されています。

特徴

• 包括的な集団操作: all-reduce、all-gatherなど、幅広い標準通信ルーチンをサポート。
• 高帯域幅最適化: PCIe、xGMI、InfiniBand、TCP/IPに対応。
• 柔軟な展開: 単一または複数ノードに任意の数のGPUをサポート。
• マルチプロセス対応: 単一プロセスまたはマルチプロセス（例：MPI）アプリケーションと互換性あり。