NVIDIA/nvshmem

NVIDIA NVSHMEM is a parallel programming interface for NVIDIA GPUs based on OpenSHMEM. NVSHMEM can significantly reduce multi-process communication and coordination overheads by allowing programmers to perform one-sided communication from within CUDA kernels and on CUDA streams.

解決的問題

NVSHMEM 設計用於在叢集中的 NVIDIA GPU 之間實現可擴展的通訊。它解決了 GPU 之間複雜的資料移動問題，讓 GPU 能像存取單一共享的全域位址空間一樣，存取叢集中的記憶體。

工作原理

基於 OpenSHMEM 標準，提供跨 NVIDIA GPU 分區的全域位址空間（PGAS）。支援單邊傳輸、原子操作、訊號與同步。通訊可由 CPU（主機）、CUDA 內核（裝置）或 CUDA 流啟動，讓開發者在啟動資料移動時擁有彈性。

適用對象

需要在多個 GPU 與節點之間實現高效 GPU 主導通訊的高階運算（HPC）應用或大規模 AI 訓練與推論工作負載的開發者。

主要特色

  • 支援單邊通訊傳輸與原子操作
  • 支援主機、CUDA 內核與 CUDA 流介面
  • 與 Open MPI、Hydra、Slurm 等程序啟動器整合
  • 透過 NVSHMEM4Py 提供 Python 支援

相關

  • 專案
    Project-HAMi/HAMi

    一種 Kubernetes 原生的虛擬化中介層，可跨多個工作負載共享與隔離 GPU 及其他 AI 加速器資源，以提升硬體利用率。

  • 專案
    Mesh-LLM/mesh-llm

    一個透過 OpenAI 相容 API 將多台機器的 GPU 與記憶體資源池化，以執行大型模型的分散式 LLM 服務系統。

  • 專案
    NVIDIA/DCGM

    一套用於在叢集環境中管理與監控 NVIDIA 數據中心 GPU 的工具，提供健康監控、診斷與治理策略。

  • 專案
    ROCm/legacy-rocm-build

    ROCm / legacy‑rocm‑build 是（現已棄用的）程式碼庫，用於組裝 AMD 的開源 GPU 計算堆疊——驅動程式、HIP 執行時期、數學函式庫、效能分析工具等，讓開發者可在 AMD GPU 上執行 AI/ML 工作負載。該程式碼庫引導使用者前往安裝指南與更新的 TheRock 單體程式碼庫。

  • 專案
    microsoft/mscclpp

    一個 GPU 驅動的通訊堆疊，提供可客製化、零複製的 GPU 間通訊原語，以提升可擴展 AI 應用與 LLM 服務的效能。