pytorch/gloo

해결하는 문제

Gloo는 기계 학습 응용 프로그램을 위한 다중 머신 학습을 촉진하기 위해 설계된 집합 통신 라이브러리입니다. 클러스터 내 여러 머신 간에 데이터를 효율적으로 동기화하고 이동하기 위한 필수 기능을 제공합니다.

작동 방식

바리어, 브로드캐스트, allreduce와 같은 여러 집합 알고리즘을 구현합니다. 라이브러리는 하위 데이터 전송을 추상화하여 표준 IP(TCP) 또는 고성능 InfiniBand/RoCE를 사용할 수 있도록 합니다. GPU 가속 작업에는 GPUDirect를 지원하여 머신 간 GPU에서 GPU로 직접 메모리 전송을 가능하게 하여 호스트 메모리와 장치 메모리 간의 데이터 복사 필요성을 줄입니다.

대상 사용자

다수의 컴퓨팅 노드 간 데이터 교환을 신뢰할 수 있는 방식으로 조율해야 하는 분산 기계 학습 학습에 종사하는 개발자 및 연구자.

주요 특징

• 집합 기능: allreduce, broadcast, barrier와 같은 핵심 연산을 포함합니다.
• 하드웨어 가속: InfiniBand, RoCE, GPUDirect를 지원하여 고속 GPU 전송을 구현합니다.
• 유연한 전송: 표준 IP/TCP와 함께 작동하며, 시스템 메모리 및 NVIDIA GPU 메모리 버퍼에 대해 최적화된 경로를 제공합니다.
• 통합: 주로 PyTorch Distributed와 함께 사용되어 다중 노드 스케일링에 활용됩니다.