baidu-baige/LoongForge

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs. Supports Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 and more.

LoongForge – LLM, VLM, 확산 및 임베디드 모델을 위한 고성능 훈련 프레임워크

정의 – LoongForge는 바이두 AI 클라우드의 Baige 팀이 만든 오픈소스 훈련 스택입니다. 패치된 Megatron-LM 코어(언어, 비전-언어 및 확산 모델용)와 별도의 torch-네이티브 하위 시스템(임베디드 에이전트용)을 감싸고, MoE 전문가 배치, FP8/INT4 지원, 긴 시퀀스 파이프라인, 이기종 병렬 처리, 맞춤형 융합 커널 등 다양한 속도 향상 기법을 추가합니다.

중요성 – 오늘날의 기반 모델을 훈련하는 데는 수천 GPU-시간이 소요될 수 있습니다. LoongForge는 손실 곡선을 동일하게 유지하면서 기본 Megatron-LM 또는 다른 오픈소스 기준선보다 1.4배~5배 높은 처리량을 제공하며, NVIDIA GPU와 바이두의 쿤룬 XPU 모두에서 작동합니다.

빠른 시작 (GPU)

# 공식 Docker 이미지 가져오기 (CUDA, Megatron 패치 등 포함)
docker pull loongforge/loongforge:latest
mkdir -p workspace
docker run --gpus all --ipc=host -it --rm \
  -v "$(pwd)/workspace:/workspace/data" \
  -w /workspace/LoongForge \
  loongforge/loongforge:latest bash

컨테이너 내부에서 examples/ 아래의 준비된 스크립트 중 하나를 실행할 수 있습니다. 예를 들어, 8개 GPU에서 5-B DreamZero LoRA 미세 조정:

cd /workspace/LoongForge
export WAN22_CKPT_DIR=/workspace/data/dreamzero/checkpoints/Wan2.2-TI2V-5B
export WAN21_CKPT_DIR=/workspace/data/dreamzero/checkpoints/Wan2.1-I2V-14B-480P
export TOKENIZER_PATH="$WAN22_CKPT_DIR/google/umt5-xxl"
export DATA_PATH=/workspace/data/dreamzero/data/droid_lerobot

bash examples/embodied/dreamzero/run_dreamzero_wan22_5b_lora_fsdp_finetune.sh \
  GPUS_PER_NODE=8 TRAIN_ITERS=20 SAVE_INTERVAL=20 \
  OUTPUT_DIR=/workspace/data/dreamzero/outputs/lora

스크립트는 짧은 20단계 테스트를 실행하고 체크포인트를 OUTPUT_DIR에 기록합니다.

주요 기능

영역 하이라이트
LLM / VLM / 확산 MoE 전문가 병렬(EP) 오버랩, 토폴로지 인식 동적 전문가 복제(TAOT 논문), 적응형 FP8/INT4 훈련, 컨텍스트 병렬 긴 시퀀스 지원, 구성 가능한 ViT+LLM 모델(예: GLM-5.2 + MoonViT)을 갖춘 패치된 Megatron-LM.
임베디드 에이전트 DDP / ZeRO-1 / FSDP / HSDP를 제공하는 별도의 torch-네이티브 스택, 모델별 I/O 및 커널 최적화, FP8 통신, LIBERO, CALVIN, SimplerEnv, RoboTwin에 대한 통합 평가, 1인칭 비디오에서 LeRobot 형식으로의 데이터 변환.
하드웨어 경량 플러그인을 통해 NVIDIA GPU(CUDA) 및 바이두 쿤룬 XPU에서 실행; Docker 이미지는 즉시 실행 가능한 환경을 제공합니다.
사용성 즉시 실행 가능한 구성 파일(configs/models/), 실행 스크립트(examples/), 그리고 Megatron 체크포인트와 HuggingFace 형식 간 오프라인 및 실시간 변환을 지원하는 "Mcore Bridge"를 제공합니다.

모델 지원 (선택)

  • LLM: LLaMA 2/3/3.1, Qwen 1-5/2/2.5/3/3-Next, DeepSeek-V2/V3/V4, MiniMax-M2.1/2.5/2.7, GLM-5/5.2/5.3-flash, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6 등.
  • VLM: Qwen2.5-VL, Qwen3-VL, Qwen3.5/3.6/3.8, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6, GLM-5.2 + MoonViT, ERNIE4.5-VL, LLaVA-OneVision 1.5/2.0, InternVL 2.5/3.5, 맞춤형 구성 가능 모델.
  • 확산: Wan2.1, Wan2.2, Qwen-Image-Edit-2511.
  • 임베디드: Pi0.5, GR00T-N1.6/N1.7, xVLA, Wall-OSS-0.5, FastWAM, LingBot-VA, Cosmos3, DreamZero.

주요 기능

영역 주요 내용
LLM / VLM / 확산 MoE 전문가 병렬(EP) 오버랩, 토폴로지 인식 동적 전문가 복제(TAOT 논문), 적응형 FP8/INT4 훈련, 컨텍스트 병렬 긴 시퀀스 지원, 구성 가능한 ViT+LLM 모델(예: GLM-5.2 + MoonViT)을 갖춘 패치된 Megatron-LM.
임베디드 에이전트 DDP / ZeRO-1 / FSDP / HSDP를 제공하는 별도의 torch-네이티브 스택, 모델별 I/O 및 커널 최적화, FP8 통신, LIBERO, CALVIN, SimplerEnv, RoboTwin에 대한 통합 평가, 1인칭 비디오에서 LeRobot 형식으로의 데이터 변환.
하드웨어 경량 플러그인을 통해 NVIDIA GPU(CUDA) 및 바이두 쿤룬 XPU에서 실행; Docker 이미지는 즉시 실행 가능한 환경을 제공합니다.
사용성 즉시 실행 가능한 구성 파일(configs/models/), 실행 스크립트(examples/), 그리고 Megatron 체크포인트와 HuggingFace 형식 간 오프라인 및 실시간 변환을 지원하는 "Mcore Bridge"를 제공합니다.

모델 지원 (선택)

  • LLM: LLaMA 2/3/3.1, Qwen 1-5/2/2.5/3/3-Next, DeepSeek-V2/V3/V4, MiniMax-M2.1/2.5/2.7, GLM-5/5.2/5.3-flash, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6 등.
  • VLM: Qwen2.5-VL, Qwen3-VL, Qwen3.5/3.6/3.8, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6, GLM-5.2 + MoonViT, ERNIE4.5-VL, LLaVA-OneVision 1.5/2.0, InternVL 2.5/3.5, 맞춤형 구성 가능 모델.
  • 확산: Wan2.1, Wan2.2, Qwen-Image-Edit-2511.
  • 임베디드: Pi0.5, GR00T-N1.6/N1.7, xVLA, Wall-OSS-0.5, FastWAM, LingBot-VA, Cosmos3, DreamZero.

보고된 성능

README에는 동일한 하드웨어에서 해당 오픈소스 기준선 대비 벤치마크 속도 향상(훈련 처리량)이 나와 있습니다:

  • Qwen3-VL에서 1.45배
  • DeepSeek-V3.2 Lite(DSA 최적화 변형)에서 최대 5.04배
  • DreamZero(임베디드)에서 기준선 대비 4.38배
  • GR00T-N1.6에서 2.3배, 다양한 임베디드 모델에서 1.79배~4.38배 모든 개선은 최적화되지 않은 기준선과 손실 곡선이 일치한다고 주장합니다.

커뮤니티 및 리소스

  • 문서: https://loongforge.readthedocs.io
  • 블로그 및 릴리스 노트: README 전체에 연결됨 (예: TAOT 논문, 임베디드 출시)
  • Docker Hub: loongforge/loongforge
  • Discord / WeChat / RedNote 그룹 토론
  • GitHub: Apache-2.0 오픈소스, PR 환영, 버그 및 기능 요청용 이슈 트래커.

결론

LoongForge는 대규모 언어, 멀티모달 비전-언어, 확산 및 로봇 제어 에이전트 등 최첨단 모델의 전체 스펙트럼을 대상으로 하는 프로덕션 등급의 다중 백엔드 훈련 프레임워크입니다. 주요 장점은 GPU와 바이두의 XPU 하드웨어 모두에서 몇 배의 속도 향상을 약속하는 엔지니어링 최적화 제품군과, 비교적 완전한 즉시 실행 가능한 예제 및 신규 사용자를 위한 Docker 기반 진입점을 제공한다는 점입니다.

주요 기능

영역 하이라이트
LLM / VLM / 확산 MoE 전문가 병렬(EP) 오버랩, 토폴로지 인식 동적 전문가 복제(TAOT 논문), 적응형 FP8/INT4 훈련, 컨텍스트 병렬 긴 시퀀스 지원, 구성 가능한 ViT+LLM 모델(예: GLM-5.2 + MoonViT)을 갖춘 패치된 Megatron-LM.
임베디드 에이전트 DDP / ZeRO-1 / FSDP / HSDP를 제공하는 별도의 torch-네이티브 스택, 모델별 I/O 및 커널 최적화, FP8 통신, LIBERO, CALVIN, SimplerEnv, RoboTwin에 대한 통합 평가, 1인칭 비디오에서 LeRobot 형식으로의 데이터 변환.
하드웨어 경량 플러그인을 통해 NVIDIA GPU(CUDA) 및 바이두 쿤룬 XPU에서 실행; Docker 이미지는 즉시 실행 가능한 환경을 제공합니다.
사용성 바로 실행 가능한 구성 파일(configs/models/), 실행 스크립트(examples/), 그리고 Megatron 체크포인트와 HuggingFace 형식 간 오프라인 및 실시간 변환을 지원하는 "Mcore Bridge"를 제공합니다.

모델 지원 (선택)

  • LLM: LLaMA 2/3/3.1, Qwen 1-5/2/2.5/3/3-Next, DeepSeek-V2/V3/V4, MiniMax-M2.1/2.5/2.7, GLM-5/5.2/5.3-flash, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6 등.
  • VLM: Qwen2.5-VL, Qwen3-VL, Qwen3.5/3.6/3.8, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6, GLM-5.2 + MoonViT, ERNIE4.5-VL, LLaVA-OneVision 1.5/2.0, InternVL 2.5/3.5, 맞춤형 구성 가능 모델.
  • 확산: Wan2.1, Wan2.2, Qwen-Image-Edit-2511.
  • 임베디드: Pi0.5, GR00T-N1.6/N1.7, xVLA, Wall-OSS-0.5, FastWAM, LingBot-VA, Cosmos3, DreamZero.

보고된 성능

README에는 동일한 하드웨어에서 해당 오픈소스 기준선 대비 벤치마크 속도 향상(훈련 처리량)이 나와 있습니다:

  • Qwen3-VL에서 1.45배
  • DeepSeek-V3.2 Lite(DSA 최적화 변형)에서 최대 5.04배
  • DreamZero(임베디드)에서 기준선 대비 4.38배
  • GR00T-N1.6에서 2.3배, 다양한 임베디드 모델에서 1.79배~4.38배 모든 개선은 최적화되지 않은 기준선과 손실 곡선이 일치한다고 주장합니다.

커뮤니티 및 리소스

  • 문서: https://loongforge.readthedocs.io
  • 블로그 및 릴리스 노트: README 전체에 연결됨 (예: TAOT 논문, 임베디드 출시)
  • Docker Hub: loongforge/loongforge
  • Discord / WeChat / RedNote 그룹 토론용
  • GitHub: Apache-2.0 오픈소스, PR 환영, 버그 및 기능 요청용 이슈 트래커.

결론

LoongForge는 대규모 언어, 멀티모달 비전-언어, 확산 및 로봇 제어 에이전트 등 최첨단 모델의 전체 스펙트럼을 대상으로 하는 프로덕션 등급의 다중 백엔드 훈련 프레임워크입니다. 주요 판매 포인트는 GPU와 바이두의 XPU 하드웨어 모두에서 몇 배의 속도 향상을 약속하는 엔지니어링 최적화 제품군이며, 비교적 완전한 실행 가능한 예제 세트와 신규 사용자를 위한 Docker 기반 진입점을 제공합니다.

주요 기능

영역 하이라이트
LLM / VLM / 확산 MoE 전문가 병렬(EP) 오버랩, 토폴로지 인식 동적 전문가 복제(TAOT 논문), 적응형 FP8/INT4 훈련, 컨텍스트 병렬 긴 시퀀스 지원, 구성 가능한 ViT+LLM 모델(예: GLM-5.2 + MoonViT)을 갖춘 패치된 Megatron-LM.
임베디드 에이전트 DDP / ZeRO-1 / FSDP / HSDP를 제공하는 별도의 torch-네이티브 스택, 모델별 I/O 및 커널 최적화, FP8 통신, LIBERO, CALVIN, SimplerEnv, RoboTwin에 대한 통합 평가, 1인칭 비디오에서 LeRobot 형식으로의 데이터 변환.
하드웨어 경량 플러그인을 통해 NVIDIA GPU(CUDA) 및 바이두 쿤룬 XPU에서 실행; Docker 이미지는 즉시 실행 가능한 환경을 제공합니다.
사용성 즉시 실행 가능한 구성 파일(configs/models/), 실행 스크립트(examples/), 그리고 Megatron 체크포인트와 HuggingFace 형식 간 오프라인 및 온더플라이 변환을 지원하는 “Mcore Bridge”를 제공합니다.

모델 지원 (선택)

  • LLM: LLaMA 2/3/3.1, Qwen 1-5/2/2.5/3/3-Next, DeepSeek-V2/V3/V4, MiniMax-M2.1/2.5/2.7, GLM-5/5.2/5.3-flash, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6 등.
  • VLM: Qwen2.5-VL, Qwen3-VL, Qwen3.5/3.6/3.8, Kimi-K2.5/2.6/K3, MiniCPM-V-4.6, GLM-5.2 + MoonViT, ERNIE4.5-VL, LLaVA-OneVision 1.5/2.0, InternVL 2.5/3.5, 맞춤형 구성 가능 모델.
  • 확산: Wan2.1, Wan2.2, Qwen-Image-Edit-2511.
  • 임베디드: Pi0.5, GR00T-N1.6/N1.7, xVLA, Wall-OSS-0.5, FastWAM, LingBot-VA, Cosmos3, DreamZero.

보고된 성능

README에는 동일한 하드웨어에서 해당 오픈소스 기준선 대비 벤치마크 속도 향상(훈련 처리량)이 나와 있습니다:

  • Qwen3-VL에서 1.45배
  • DeepSeek-V3.2 Lite(DSA 최적화 변형)에서 최대 5.04배
  • DreamZero(임베디드)에서 기준선 대비 4.38배
  • GR00T-N1.6에서 2.3배, 다양한 임베디드 모델에서 1.79배~4.38배 모든 개선은 최적화되지 않은 기준선과 손실 곡선이 일치한다고 주장합니다.

커뮤니티 및 리소스

  • 문서: https://loongforge.readthedocs.io
  • 블로그 및 릴리스 노트: README 전체에 링크됨 (예: TAOT 논문, 임베디드 출시)
  • Docker Hub: loongforge/loongforge
  • Discord / WeChat / RedNote 그룹 토론
  • GitHub: Apache-2.0 오픈소스, PR 환영, 버그 및 기능 요청용 이슈 트래커.

결론

LoongForge는 대규모 언어, 멀티모달 비전-언어, 확산 및 로봇 제어 에이전트 등 최첨단 모델의 전체 스펙트럼을 대상으로 하는 프로덕션급 다중 백엔드 훈련 프레임워크입니다. 주요 장점은 GPU와 바이두의 XPU 하드웨어 모두에서 몇 배의 속도 향상을 약속하는 일련의 엔지니어링 최적화와, 신규 사용자를 위한 비교적 완전한 실행 예제 및 Docker 기반 진입점을 제공한다는 점입니다.

커뮤니티 및 리소스

  • 문서: https://loongforge.readthedocs.io
  • 블로그 및 릴리스 노트: README 전체에 링크됨 (예: TAOT 논문, 임베디드 출시)
  • Docker Hub: loongforge/loongforge
  • Discord / WeChat / RedNote 그룹 토론
  • GitHub: Apache-2.0 오픈소스, PR 환영, 버그 및 기능 요청용 이슈 트래커.

결론

LoongForge는 대규모 언어, 멀티모달 비전-언어, 확산 및 로봇 제어 에이전트 등 최첨단 모델의 전체 스펙트럼을 대상으로 하는 프로덕션급 다중 백엔드 훈련 프레임워크입니다. 주요 판매 포인트는 GPU와 바이두의 XPU 하드웨어 모두에서 몇 배의 속도 향상을 약속하는 일련의 엔지니어링 최적화이며, 신규 사용자를 위한 비교적 완전한 실행 예제 세트와 Docker 기반 진입점을 제공합니다.

요약

LoongForge는 LLM, VLM, 확산 및 임베디드 모델을 위한 바이두의 오픈소스 훈련 프레임워크입니다. 패치된 Megatron-LM 스택과 torch-네이티브 하위 시스템을 결합하고, MoE 전문가 배치, FP8/INT4 지원, 긴 시퀀스 파이프라인 및 기타 속도 향상 기능을 추가하며, 수십 개의 인기 모델을 위한 즉시 사용 가능한 Docker 이미지와 실행 스크립트를 제공합니다.

관련

  • 프로젝트
    EvolvingLMMs-Lab/lmms-engine

    분산 학습, 카ーネル 융합, 고급 최적화를 통합하여 확장 가능한 사전 학습과 미세조정을 가능하게 하는 통합적이고 고성능의 멀티모달 모델 학습 엔진입니다.

  • 프로젝트
    InternLM/xtuner

    최대 1T 파라미터의 초거대 규모 MoE 모델에 최적화된 차세대 LLM 학습 엔진으로, 멀티모달 학습과 고급 강화 학습을 지원합니다.

  • 프로젝트
    ByteDance-Seed/VeOmni

    다양한 하드웨어 가속기 전반에서 단일 및 멀티모달 모델의 사전 학습과 사후 학습을 확장하기 위한 범용 프레임워크.

  • 프로젝트
    kvcache-ai/ktransformers

    KTransformers는 CPU-GPU 이기종 컴퓨팅을 통한 효율적인 LLM 추론 및 미세 조정을 위한 연구 프레임워크로, DeepSeek-R1과 같은 대규모 MoE 모델을 단일 소비자 GPU(24GB VRAM)에서 실행할 수 있게 하여 3~28배 속도 향상을 제공하고, ZeRO-Offload보다 6~12배 빠른 미세 조정을 제공합니다.

  • Dispatch
    Megatron-LM으로 언어 모델 훈련하기

    Hugging Face는 NVIDIA의 Megatron-LM 프레임워크를 사용하여 GPU에서 대형 언어 모델을 효율적으로 사전 훈련하고, Transformers 라이브러와의 통합 방법을 제공하는 가이드를 제공합니다.