ByteDance-Seed/VeOmni

解决的问题

VeOmni 旨在简化并扩展单模态和多模态模型的训练。它解决了在不同硬件加速器上扩展模型的复杂性以及传统训练器类别的僵化问题，为预训练和后训练提供了一个灵活、模块化的框架。

运作方式

VeOmni 利用模块化设计将组件解耦，允许用户以自定义实现进行替换。它采用“无训练器 (trainer-free)”的方法，结合线性训练脚本，让用户对训练逻辑拥有完全的透明度和控制权。该框架基于 PyTorch 原生函数构建，并支持多种分布式训练技术，包括 FSDP2、序列并行 (通过 Deepspeed Ulysses) 以及针对大型 MoE 模型的专家并行。

目标受众

适用于需要跨多种硬件 (NVIDIA GPUs, AMD ROCm, 和 Ascend NPUs) 扩展大规模多模态或全能模型，并要求对训练过程进行高度控制的 AI 研究人员和工程师。

特点

• 多加速器支持：兼容于 NVIDIA GPU, AMD ROCm, 和 Ascend NPU。
• MoE 优化：包含针对 Mixture-of-Experts 模型的专家并行和高效的 GroupGemm 内核 (Liger-Kernel)。
• 广泛的模型支持：兼容于 HuggingFace Transformers 模型，如 Qwen, Llama, 和 DeepSeek。
• 分布式训练：实现了 FSDP2, 序列并行, 和 Torch Distributed Checkpoint。
• 灵活的训练逻辑：支持线性脚本以避免僵化的训练器类别。