ai-dynamo/nixl

何を解決するか

NIXLは、AI推論フレームワーク内のノード間での高性能なポイントツーポイント通信の必要性に対応します。CPUとGPUの異なるメモリタイプ、およびファイル、ブロック、オブジェクトストアなどのストレージシステム間でのデータ移動を、統一された抽象レイヤーによって簡素化します。

動作方法

NIXLはモジュール式のプラグインアーキテクチャを使用して、さまざまなバックエンドをサポートします。メモリおよびストレージタイプを抽象化し、AIフレームワークが特定のハードウェアやストレージメディアの低レベルの詳細を管理することなく、効率的にデータを転送できるようにします。分散環境におけるノード間のメタデータ交換と調整にはUCXをトランスポートとして、ETCDをメタデータ配布と調整に使用できます。

対象ユーザー

このライブラリは、NVIDIA DynamoなどのAI推論フレームワークを開発する開発者、およびGPU/CPUメモリとさまざまなストレージバックエンド間で最適化されたデータ転送を必要とする分散AIワークロードに従事する開発者向けに設計されています。

主な特徴

• モジュール式プラグインアーキテクチャ: UCX、POSIX、GDSなど、幅広いバックエンドをサポート。
• クロスプラットフォームメモリサポート: CPUおよびGPUメモリ、およびさまざまなストレージタイプの抽象化を提供。
• マルチ言語バインディング: C++、Python、Rust用のAPIを提供。
• 分散調整機能: 分散ノード間のメタデータ交換を管理するためのETCDとのオプション統合。
• ハードウェア非依存: ベンダーニュートラルなビルドオプションにより、NVIDIA GPU（CUDA）とAMD GPU（ROCm）の両方をサポート。