ByteDance-Seed/VeOmni

해결하는 문제

VeOmni는 단일 및 멀티모달 모델의 학습을 간소화하고 확장하기 위해 설계되었습니다. 서로 다른 하드웨어 가속기 전반에서 모델을 확장할 때 발생하는 복잡성과 기존 트레이너 클래스의 경직성 문제를 해결하며, 사전 학습과 사후 학습 모두를 위한 유연하고 모듈화된 프레임워크를 제공합니다.

작동 방식

VeOmni는 구성 요소를 분리하는 모듈식 설계를 활용하여 사용자가 사용자 정의 구현으로 대체할 수 있도록 합니다. 또한 '트레이너 프리(trainer-free)' 접근 방식과 선형 학습 스크립트를 사용하여 학습 로직에 대한 완전한 투명성과 제어 권한을 사용자에게 제공합니다. 이 프레임워크는 PyTorch 네이티브 함수를 기반으로 구축되었으며, FSDP2, 시퀀스 병렬 처리(Deepspeed Ulysses 사용), 대규모 MoE 모델을 위한 전문가 병렬 처리 등 다양한 분산 학습 기술을 지원합니다.

대상 사용자

다양한 하드웨어(NVIDIA GPUs, AMD ROCm, Ascend NPUs) 전반에서 대규모 멀티모달 또는 옴니 모델을 확장해야 하며, 학습 과정에 대한 높은 수준의 제어가 필요한 AI 연구원 및 엔지니어를 대상으로 합니다.

주요 특징

• 멀티 가속기 지원: NVIDIA GPU, AMD ROCm, Ascend NPU와 호환됩니다.
• MoE 최적화: Mixture-of-Experts 모델을 위한 전문가 병렬 처리 및 효율적인 GroupGemm 커널(Liger-Kernel)을 포함합니다.
• 광범위한 모델 지원: Qwen, Llama, DeepSeek와 같은 HuggingFace Transformers 모델과 호환됩니다.
• 분산 학습: FSDP2, 시퀀스 병렬 처리, Torch Distributed Checkpoint를 구현합니다.
• 유연한 학습 로직: 경직된 트레이너 클래스를 피하기 위해 선형 스크립트를 지원합니다.