ai-dynamo/nixl

해결하는 문제

NIXL은 AI 추론 프레임워크 내 노드 간 고성능 포인트투포인트 통신의 필요성을 해결합니다. CPU 및 GPU와 같은 다양한 메모리 유형, 파일, 블록, 객체 스토리지와 같은 스토리지 시스템 간의 데이터 이동을 통일된 추상화 계층을 통해 간소화합니다.

작동 방식

NIXL은 모듈식 플러그인 아키텍처를 사용하여 다양한 백엔드를 지원합니다. 메모리 및 스토리지 유형을 추상화하여 AI 프레임워크가 특정 하드웨어나 스토리지 매체의 저수준 세부 사항을 관리하지 않고도 효율적으로 데이터를 전송할 수 있도록 합니다. 분산 환경에서 노드 간 메타데이터 교환 및 조정을 위해 UCX를 전송 수단으로 사용하고 ETCD를 메타데이터 분배에 통합할 수 있습니다.

대상 사용자

이 라이브러리는 NVIDIA Dynamo과 같은 AI 추론 프레임워크를 개발하는 개발자 및 GPU/CPU 메모리와 다양한 스토리지 백엔드 간 최적화된 데이터 전송이 필요한 분산 AI 워크로드를 다루는 개발자에게 적합합니다.

주요 특징

• 모듈식 플러그인 아키텍처: UCX, POSIX, GDS 등 다양한 백엔드를 지원합니다.
• 크로스플랫폼 메모리 지원: CPU 및 GPU 메모리, 다양한 스토리지 유형에 대한 추상화를 제공합니다.
• 다중 언어 바인딩: C++, Python, Rust용 API를 제공합니다.
• 분산 조정 기능: 분산 노드 간 메타데이터 교환을 관리하기 위한 ETCD 통합을 선택적으로 제공합니다.
• 하드웨어 독립성: 벤더 중립적 빌드 옵션을 통해 NVIDIA GPU(CUDA)와 AMD GPU(ROCm) 모두를 지원합니다.