ByteDance-Seed/Triton-distributed

해결하는 문제

Triton-distributed는 계산과 통신을 겹치는 고도로 최적화된 분산 커널을 개발하는 어려움을 해결합니다. 수작업 최적화된 라이브러리와 경쟁할 수 있는 효율적인 커널(예: Distributed-GEMM)을 컴파일러 기반 접근 방식의 유연성을 유지하면서 개발할 수 있도록 합니다.

작동 방식

OpenAI Triton을 기반으로 한 이 분산 컴파일러는 GPU 간 데이터 이동이 계산과 동시에 진행되는 커널 설계를 가능하게 하는 저수준 원시 기능을 제공합니다. Nvidia(SM80, SM89, SM90a) 및 AMD(CDNA3) GPU를 포함한 여러 하드웨어 백엔드를 지원하며, NVLink, InfiniBand(IB), PCIe와 같은 통신 레이어를 활용합니다.

대상 사용자

대규모 모델의 분산 학습 또는 추론 성능을 최적화해야 하는 GPU 커널 개발자 및 AI 연구자에게 적합합니다. 특히 텐서 병렬성(TP)과 전문가 병렬성(EP)을 다루는 분들에게 적합합니다.

주요 특징

• 계산-통신 겹침: 통신 지연을 숨기기 위해 계산과 통신을 겹치도록 특별히 설계되었습니다.
• 광범위한 하드웨어 지원: Nvidia 및 AMD GPU 모두 호환됩니다.
• 고성능: AllGather GEMM 및 GEMM ReduceScatter와 같은 연산에서 수작업 최적화된 라이브러리와 동등하거나 더 높은 성능을 달성합니다.
• 추론 가속화: 실증된 가속도(예: Seed-OSS-36B-Instruct에서 1.33배)와 낮은 지연의 AllToAll 구현을 제공합니다.