ByteDance-Seed/VeOmni

解決する課題

VeOmni は、単一およびマルチモーダルモデルの学習を簡素化し、スケーリングするために設計されています。異なるハードウェアアクセラレータ間でのモデルスケーリングの複雑さや、従来のトレーナークラスの硬直性といった課題に対処し、事前学習と事後学習の両方に柔軟でモジュール化されたフレームワークを提供します。

仕組み

VeOmni はコンポーネントを分離するモジュール設計を採用しており、ユーザーはカスタム実装に置き換えることが可能です。また、「トレーナーフリー」なアプローチと線形学習スクリプトを使用することで、学習ロジックに対する完全な透明性と制御をユーザーに提供します。このフレームワークは PyTorch のネイティブ関数に基づいて構築されており、FSDP2、シーケンス並列化 (Deepspeed Ulysses 経由)、大規模 MoE モデル向けの専門家並列化など、さまざまな分散学習技術をサポートしています。

対象ユーザー

多様なハードウェア (NVIDIA GPUs, AMD ROCm, Ascend NPUs) 上で大規模なマルチモーダルモデルやオムニモデルをスケーリングする必要があり、学習プロセスに対して高度な制御を求める AI 研究者やエンジニアを対象としています。

特徴

• マルチアクセラレータ対応: NVIDIA GPU, AMD ROCm, Ascend NPU と互換性があります。
• MoE 最適化: Mixture-of-Experts モデル向けの専門家並列化と効率的な GroupGemm カーネル (Liger-Kernel) を含みます。
• 幅広いモデルサポート: Qwen, Llama, DeepSeek などの HuggingFace Transformers モデルと互換性があります。
• 分散学習: FSDP2、シーケンス並列化、Torch Distributed Checkpoint を実装しています。
• 柔軟な学習ロジック: 硬直したトレーナークラスを避けるため、線形スクリプトをサポートしています。