NVIDIA-NeMo/Automodel
🚀 Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face support
解決する課題
NeMo AutoModelは、大規模AIモデルの事前学習およびファインチューニングのプロセスを簡素化します。Hugging Faceなどのプラットフォームから高性能な学習環境へモデルを移行する際の手作業を、統合の自動化と最適化された学習レシピの提供によって解消します。
仕組み
このプロジェクトは、Hugging Faceモデルを統合し、PyTorchネイティブの並列処理（FSDP2、エキスパート並列、パイプライン並列、コンテキスト並列など）やカスタムカーネルを適用してパフォーマンスを最適化するフレームワークを提供します。Pytorch DTensorネイティブのSPMDライブラリを使用して、複数のGPUやノードにわたる大規模な学習を処理します。
対象ユーザー
NVIDIA H100やGB200 GPUなどの高性能ハードウェアを使用して、巨大なモデル（LLM、VLM、拡散モデルなど）の学習やファインチューニングを行うAI研究者や開発者向けに設計されています。
主な特徴
- 幅広いモデルサポート: MoE (Mixture-of-Experts)、密なモデル、マルチモーダルデコーダーなど、多様なアーキテクチャをサポートします。
- 最適化された並列処理: エキスパート並列 (EP)、パイプライン並列 (PP)、コンテキスト並列 (CP) といった高度な並列化戦略を実装しています。
- 推論の高速化: 推論を高速化するためのターゲット整合型ドラフトモデル（EAGLE、DFlash、DSparkなど）を学習するツールが含まれています。
- すぐに使えるレシピ: 特定のモデルやデータセット（HellaSwag、MedPixなど）向けに事前設定されたYAMLレシピを提供し、デプロイを加速させます。
関連
- プロジェクト
- Dispatch
- プロジェクト
- Dispatch
- プロジェクト