PaddlePaddle/PaddleFormers

解決的問題

PaddleFormers 在 PaddlePaddle 生態系統中為大型語言模型 (LLM) 與視覺語言模型 (VLM) 提供高性能訓練函式庫。旨在提供與 Hugging Face Transformers 等效的模型介面與功能體驗，同時針對高性能分散式訓練進行優化，降低資源消耗，並為使用者簡化複雜的底層優化細節。

工作原理

該函式庫基於 PaddlePaddle 深度學習框架構建，實現了廣泛的分散式訓練策略，包括張量並行、流水線並行與專家並行。它利用了先進的加速技術，如自動混合精度 (AMP)、FP8 低精度訓練與通訊-計算重疊。對於 DeepSeek-V4 等特定架構，它結合了 FlashMLA 與高性能 FP8 MoE 模組等專用算子，以實現效率最大化。

適用對象

需要使用 PaddlePaddle 框架訓練或微調大規模模型 (LLM 與 VLM) 的 AI 研究人員與開發人員，特別是那些使用國產硬體（如昆侖芯、天數智芯、沐曦、壁仞等）或在特定場景下尋求超越 Megatron-LM 性能的使用者。

亮點

• 廣泛的模型支援： 支援超過 100 種主流模型，包括 DeepSeek-V3/V4、GLM-4.5、Qwen 系列與 ERNIE 系列。

• 全生命週期訓練： 支援從預訓練、持續預訓練 (CPT) 到 SFT、SFT-LoRA、DPO 與 DPO-LoRA 等後訓練技術的完整流程。

• Hugging Face 相容性： API 設計與 Hugging Face Transformers 高度一致，並支援 Safetensors 格式，以便無縫將權重傳輸至 vLLM 或 SGLang 等工具。

• 高性能優化： 實作 Data Packing 與 Padding Free 技術，以優化數據流與訓練速度。

• 廣泛的硬體適配： 針對除標準 NVIDIA GPU 之外的多種國產 AI 晶片進行了深度適配。