ai-dynamo/nixl

解決的問題

NIXL 解決了 AI 推論框架中節點之間高效率點對點通訊的需求。它透過提供統一的抽象層，簡化了在不同記憶體類型（CPU 與 GPU）以及儲存系統（檔案、區塊與物件儲存）之間移動資料的過程。

工作原理

NIXL 使用模組化外掛程式架構來支援各種後端。它抽象記憶體與儲存類型，讓 AI 框架能有效率地傳輸資料，而無需管理特定硬體或儲存媒體的底層細節。它可與 UCX 集成用於傳輸，並使用 ETCD 在分散式環境中進行節點間的元資料分發與協調。

適用對象

此函式庫專為開發 AI 推論框架（如 NVIDIA Dynamo）的開發者，以及需要在 GPU/CPU 記憶體與各種儲存後端之間優化資料傳輸的分散式 AI 工作負載開發者所設計。

主要特色

• 模組化外掛程式架構：支援 UCX、POSIX、GDS 等多種後端。
• 跨平台記憶體支援：提供對 CPU 與 GPU 記憶體，以及各種儲存類型的抽象。
• 多語言綁定：提供 C++、Python 與 Rust 的 API。
• 分散式協調：可選擇性整合 ETCD，用於管理分散式節點間的元資料交換。
• 硬體無關：透過廠商中立的建置選項，支援 NVIDIA GPU（CUDA）與 AMD GPU（ROCm）。