ColossalAI: 효율적인 대규모 모델 학습 및 추론을 위한 분산 딥러닝 프레임워크

해결하는 문제

Colossal-AI는 대규모 AI 모델의 학습 및 추론을 더 저렴하고, 빠르고, 접근하기 쉽게 만들기 위해 설계되었습니다. 이는 여러 GPU 및 하드웨어 구성에 걸쳐 딥러닝 모델을 확장할 때 발생하는 높은 계산 비용과 메모리 제한 문제를 해결합니다.

작동 방식

이 프로젝트는 개발자가 단일 노트북에서 작업하는 것처럼 쉽게 분산 딥러닝 모델을 작성할 수 있도록 하는 일련의 병렬 구성 요소와 메모리 관리 도구를 제공합니다. 다음과 같은 여러 고급 병렬화 전략을 채택합니다:

• 병렬화 전략: Data Parallelism, Pipeline Parallelism, 그리고 다양한 형태의 Tensor Parallelism (1D, 2D, 2.5D, 3D), 그리고 Sequence Parallelism 및 Zero Redundancy Optimizer (ZeRO).
• Auto-Parallelism: 하드웨어 전반에 걸쳐 모델의 분산을 자동으로 처리합니다.
• Heterogeneous Memory Management: PatrickStar와 같은 도구를 사용하여 다양한 하드웨어 계층 간의 메모리를 관리합니다.
• Configuration-based Usage: 사용자 친화적인 사용자 경험을 위해 구성 파일을 통해 병렬화 설정을 정의할 수 있도록 합니다.

대상 사용자

LLM, Sora와 같은 비디오 생성 모델, 또는 Stable Diffusion과 같은 이미지 생성 모델을 대규모 클러스터로 확장하거나 소비자용 GPU에 최적화해야 하는 AI 연구자 및 개발자를 대상으로 합니다.

주요 특징

• 광범위한 모델 지원: LLaMA 1/2/3, GPT-3, BERT, PaLM, 및 MoE 모델에 대한 최적화된 구현을 포함합니다.
• 상당한 성능 향상: 벤치마크 결과 B200 및 H200과 같은 하이엔드 GPU에서 상당한 처리량 증가를 보여줍니다.
• 실제 응용 사례: 비디오 생성을 위한 Open-Sora 및 전체 RLHF 파이프라인을 통해 ChatGPT를 클로닝하는 ColossalChat과 같은 프로젝트를 지원합니다.
• 메모리 효율성: Stable Diffusion 학습을 위한 메모리 소비를 최대 5.6배까지 줄일 수 있어, RTX 3060과 같은 저사양 하드웨어에서도 학습이 가능합니다.