baidu-baige/LoongForge

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs. Supports Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 and more.

LoongForge – 面向 LLM、VLM、扩散模型和具身模型的高性能训练框架

它是什么 – LoongForge 是百度智能云 Baige 团队的开源训练堆栈。它封装了修补过的 Megatron‑LM 核心（用于语言、视觉语言和扩散模型）以及一个独立的 torch 原生子系统（用于具身智能体），并添加了大量加速技巧：MoE 专家放置、FP8/INT4 支持、长序列流水线、异构并行、自定义融合内核等。

为什么重要 – 训练当今的基础模型可能耗费数千 GPU 小时。LoongForge 声称相比 vanilla Megatron‑LM 或其他开源基线，吞吐量提升 1.4 倍至 5 倍，同时保持损失曲线一致，并且支持 NVIDIA GPU 和百度昆仑 XPU。

快速开始（GPU）

# 拉取官方 Docker 镜像（包含 CUDA、Megatron 补丁等）
docker pull loongforge/loongforge:latest
mkdir -p workspace
docker run --gpus all --ipc=host -it --rm \
  -v "$(pwd)/workspace:/workspace/data" \
  -w /workspace/LoongForge \
  loongforge/loongforge:latest bash

在容器内，您可以运行 examples/ 下的任何现成脚本。例如，在 8 个 GPU 上进行 5‑B DreamZero LoRA 微调：

cd /workspace/LoongForge
export WAN22_CKPT_DIR=/workspace/data/dreamzero/checkpoints/Wan2.2-TI2V-5B
export WAN21_CKPT_DIR=/workspace/data/dreamzero/checkpoints/Wan2.1-I2V-14B-480P
export TOKENIZER_PATH="$WAN22_CKPT_DIR/google/umt5-xxl"
export DATA_PATH=/workspace/data/dreamzero/data/droid_lerobot

bash examples/embodied/dreamzero/run_dreamzero_wan22_5b_lora_fsdp_finetune.sh \
  GPUS_PER_NODE=8 TRAIN_ITERS=20 SAVE_INTERVAL=20 \
  OUTPUT_DIR=/workspace/data/dreamzero/outputs/lora

该脚本运行一个简短的 20 步测试，并将检查点写入 OUTPUT_DIR。

关键能力

领域	亮点
LLM / VLM / 扩散模型	修补过的 Megatron‑LM，支持 MoE 专家并行（EP）重叠、拓扑感知动态专家复制（TAOT 论文）、自适应 FP8/INT4 训练、上下文并行长序列支持、可组合的 ViT+LLM 模型（例如 GLM‑5.2 + MoonViT）。
具身智能体	独立的 torch 原生堆栈，提供 DDP / ZeRO‑1 / FSDP / HSDP，逐模型 I/O 和内核优化，FP8 通信，在 LIBERO、CALVIN、SimplerEnv、RoboTwin 上的统一评估，以及从第一人称视频到 LeRobot 格式的数据转换。
硬件	通过轻量级插件支持 NVIDIA GPU（CUDA）和百度昆仑 XPU；Docker 镜像提供即用环境。
易用性	现成的配置文件（`configs/models/`）、启动脚本（`examples/`），以及一个“Mcore Bridge”，可离线或实时在 Megatron 检查点与 HuggingFace 格式之间转换。

模型覆盖（部分）

LLM：LLaMA 2/3/3.1、Qwen 1‑5/2/2.5/3/3‑Next、DeepSeek‑V2/V3/V4、MiniMax‑M2.1/2.5/2.7、GLM‑5/5.2/5.3‑flash、Kimi‑K2.5/2.6/K3、MiniCPM‑V‑4.6 等。
VLM：Qwen2.5‑VL、Qwen3‑VL、Qwen3.5/3.6/3.8、Kimi‑K2.5/2.6/K3、MiniCPM‑V‑4.6、GLM‑5.2 + MoonViT、ERNIE4.5‑VL、LLaVA‑OneVision 1.5/2.0、InternVL 2.5/3.5、自定义可组合模型。
扩散模型：Wan2.1、Wan2.2、Qwen‑Image‑Edit‑2511。
具身模型：Pi0.5、GR00T‑N1.6/N1.7、xVLA、Wall‑OSS‑0.5、FastWAM、LingBot‑VA、Cosmos3、DreamZero。

报告的性能

README 展示了在相同硬件上相对于相应开源基线的基准加速（训练吞吐量）：

Qwen3‑VL 上 1.45 倍
DeepSeek‑V3.2 Lite（DSA 优化变体）上最高 5.04 倍
DreamZero（具身）相比基线 4.38 倍
GR00T‑N1.6 上 2.3 倍，各种具身模型上 1.79 倍至 4.38 倍所有声称的收益均保持损失曲线与未优化基线一致。

社区与资源

文档：https://loongforge.readthedocs.io
博客与发布说明：在 README 中均有链接（例如 TAOT 论文、具身启动）
Docker Hub：loongforge/loongforge
Discord / 微信 / 小红书 讨论群
GitHub：Apache‑2.0 开源，欢迎 PR，问题跟踪器用于 bug 和功能请求。

总结

LoongForge 是一个生产级、多后端的训练框架，面向前沿模型的完整谱系——大语言模型、多模态视觉语言模型、扩散模型和机器人控制智能体。其主要卖点是一套工程优化，承诺在 GPU 和百度 XPU 硬件上实现数倍加速，同时提供相当完整的现成示例和基于 Docker 的入门入口。