PaddlePaddle/PaddleFormers

解决的问题

PaddleFormers 在 PaddlePaddle 生态系统中为大语言模型 (LLM) 和视觉语言模型 (VLM) 提供高性能训练库。旨在提供与 Hugging Face Transformers 等效的模型接口和功能体验，同时针对高性能分布式训练进行优化，降低资源消耗，并为用户简化复杂的底层优化细节。

工作原理

该库基于 PaddlePaddle 深度学习框架构建，实现了广泛的分布式训练策略，包括张量并行、流水线并行和专家并行。它利用了先进的加速技术，如自动混合精度 (AMP)、FP8 低精度训练和通信-计算重叠。对于 DeepSeek-V4 等特定架构，它结合了 FlashMLA 和高性能 FP8 MoE 模块等专用算子，以实现效率最大化。

适用对象

需要使用 PaddlePaddle 框架训练或微调大规模模型 (LLM 和 VLM) 的 AI 研究人员和开发人员，特别是那些使用国产硬件（如昆仑芯、天数智芯、沐曦、壁仞等）或在特定场景下寻求超越 Megatron-LM 性能的用户。

亮点

• 广泛的模型支持： 支持超过 100 种主流模型，包括 DeepSeek-V3/V4、GLM-4.5、Qwen 系列和 ERNIE 系列。
• 全生命周期训练： 支持从预训练、持续预训练 (CPT) 到 SFT、SFT-LoRA、DPO 和 DPO-LoRA 等后训练技术的完整流程。
• Hugging Face 兼容性： API 设计与 Hugging Face Transformers 高度一致，并支持 Safetensors 格式，以便无缝将权重传输至 vLLM 或 SGLang 等工具。
• 高性能优化： 实现 Data Packing 和 Padding Free 技术，以优化数据流和训练速度。
• 广泛的硬件适配： 针对除标准 NVIDIA GPU 之外的多种国产 AI 芯片进行了深度适配。