ai-dynamo/nixl

解决的问题

NIXL 解决了 AI 推理框架中节点间高性能点对点通信的需求。它通过提供统一的抽象层，简化了在不同内存类型（CPU 和 GPU）和存储系统（文件、块和对象存储）之间移动数据的过程。

工作原理

NIXL 使用模块化插件架构支持多种后端。它抽象了内存和存储类型，使 AI 框架能够高效传输数据，而无需管理特定硬件或存储介质的底层细节。它可与 UCX 集成用于传输，并使用 ETCD 在分布式环境中实现节点间的元数据分发和协调。

适用对象

该库专为开发 AI 推理框架（如 NVIDIA Dynamo）的开发者，以及需要在 GPU/CPU 内存与各种存储后端之间优化数据传输的分布式 AI 工作负载开发者设计。

主要亮点

• 模块化插件架构：支持 UCX、POSIX、GDS 等多种后端。
• 跨平台内存支持：提供对 CPU 和 GPU 内存以及各种存储类型的抽象。
• 多语言绑定：提供 C++、Python 和 Rust 的 API。
• 分布式协调：可选择性集成 ETCD，用于管理分布式节点间的元数据交换。
• 硬件无关：通过厂商中立的构建选项，支持 NVIDIA GPU（CUDA）和 AMD GPU（ROCm）。