NVIDIA-NeMo/Automodel
🚀 Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face support
해결하는 문제
NeMo AutoModel은 대규모 AI 모델의 사전 학습 및 파인튜닝 과정을 간소화합니다. Hugging Face와 같은 플랫폼에서 고성능 학습 환경으로 모델을 전환할 때 필요한 수동 작업을 자동화된 통합과 최적화된 학습 레시피 제공을 통해 제거합니다.
작동 방식
이 프로젝트는 Hugging Face 모델을 통합하고 PyTorch 네이티브 병렬 처리(FSDP2, 전문가 병렬 처리, 파이프라인 병렬 처리, 컨텍스트 병렬 처리 등)와 커스텀 커널을 적용하여 성능을 최적화하는 프레임워크를 제공합니다. Pytorch DTensor 네이티브 SPMD 라이브러리를 사용하여 여러 GPU와 노드에 걸친 대규모 학습을 처리합니다.
대상 사용자
NVIDIA H100 또는 GB200 GPU와 같은 고성능 하드웨어를 사용하여 거대 모델(LLM, VLM, 확산 모델 포함)을 학습하거나 파인튜닝해야 하는 AI 연구원 및 개발자를 위해 설계되었습니다.
주요 특징
- 광범위한 모델 지원: MoE (Mixture-of-Experts), 덴스 모델, 멀티모달 디코더 등 다양한 아키텍처를 지원합니다.
- 최적화된 병렬 처리: 전문가 병렬 처리(EP), 파이프라인 병렬 처리(PP), 컨텍스트 병렬 처리(CP)와 같은 고급 병렬화 전략을 구현합니다.
- 추론 가속: 추론 속도를 높이기 위해 타겟 정렬 드래프트 모델(예: EAGLE, DFlash, DSpark)을 학습하는 도구를 포함합니다.
- 즉시 사용 가능한 레시피: 특정 모델 및 데이터셋(예: HellaSwag, MedPix)에 대해 사전 구성된 YAML 레시피를 제공하여 배포를 가속화합니다.
관련
- 프로젝트
- Dispatch
- 프로젝트
- Dispatch
- 프로젝트