hpcaitech/ColossalAI

해결하는 문제

Colossal-AI는 매우 큰 AI 모델을 훈련하고 실행하는 데 드는 높은 비용과 복잡성을 해결합니다. 700억 파라미터 모델을 훈련하려면 일반적으로 값비싼 특수 하드웨어와 분산 시스템에 대한 깊은 전문 지식이 필요합니다. Colossal-AI는 개발자가 몇 줄의 코드만으로 모델을 여러 GPU로 확장할 수 있는 병렬 컴퓨팅 도구 모음을 제공하여 대규모 모델 AI를 더 저렴하고 빠르며 접근 가능하게 만듭니다.

작동 방식

Colossal-AI는 훈련 또는 추론 작업을 GPU 간에 분할하는 여러 병렬 전략을 제공합니다. 여기에는 데이터 병렬(각 GPU가 다른 데이터 처리), 파이프라인 병렬(각 GPU가 모델의 다른 단계 처리), 다양한 형태의 텐서 병렬(모델 레이어를 GPU 간에 분할)이 포함됩니다. 또한 메모리 사용량을 줄이기 위한 ZeRO 옵티마이저와 최적의 병렬 구성을 자동으로 찾는 자동 병렬 시스템을 구현합니다. 추론의 경우 Colossal-Inference는 속도를 두 배로 높이고 SwiftInfer는 긴 다중 턴 대화를 처리합니다. 프로젝트에는 비디오 생성을 위한 Open-Sora, 저비용 도메인 특화 LLM 훈련을 위한 Colossal-LLaMA-2, 전체 RLHF 파이프라인으로 ChatGPT 클론을 구축하기 위한 ColossalChat과 같은 실제 응용 프로그램도 포함됩니다.

대상 사용자

Colossal-AI는 대규모 언어 모델, 확산 모델 또는 기타 대규모 AI 시스템을 훈련하거나 배포해야 하는 머신러닝 엔지니어, 연구자 및 기업을 대상으로 합니다. 하드웨어 비용을 줄이거나, 여러 GPU로 확장하거나, 예산 내에서 LLaMA와 같은 모델을 미세 조정하려는 팀에 적합합니다.

주요 특징

• 여러 병렬 전략 지원: 데이터, 파이프라인, 1D/2D/2.5D/3D 텐서, 시퀀스, ZeRO
• 자동 병렬이 최적 구성을 자동으로 찾음
• 이기종 메모리 관리(PatrickStar)로 제한된 GPU 메모리에 대규모 모델 적합
• 입증된 속도 향상: RLHF 훈련 최대 10배 빠름, 단일 서버 훈련 7.73배 빠름
• 실제 예: Open-Sora(비디오 생성), Colossal-LLaMA-2(저비용 도메인 LLM), ColossalChat(ChatGPT 클론), Stable Diffusion 가속화
• 7B 모델을 경쟁력 있는 성능으로 훈련하는 데 수백 달러만 소요