PaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.

PaddleFormers – PaddlePaddle 上的 Transformers

它是什么 – PaddleFormers 是一个将 Hugging Face Transformers 风格的 API 带到百度深度学习框架 PaddlePaddle 的库。它专注于使用高性能分布式策略（张量、流水线、专家并行、FP8 等）训练和微调大型语言模型（LLM）和视觉语言模型（VLM），并支持广泛的最新模型目录。

主要功能（根据 README 所述）

广泛的模型覆盖 – 100+ 个 LLM 和 VLM 系列（DeepSeek-V3/V4、GLM-4.5、Qwen 2/3/3.5、Llama 3/4、ERNIE-4.5、Gemma-3 等）。
性能优先的训练 – FP8 低精度、FlashMLA 注意力、高度优化的通信/计算重叠，以及专家并行库（DeepEP/HybridEP）。声称在多个模型上超越 Megatron-LM。
完整的训练流程 – 预训练、指令微调（SFT/LoRA）、偏好对齐（DPO/LoRA），以及后训练能力（CPT、SFT-LoRA、DPO-LoRA、函数调用、推理、接地等）。
Safetensors 支持 – 模型以可互操作的 Safetensors 格式保存，可用于 FastDeploy、vLLM、SGLang 等。
硬件灵活性 – 原生支持国产加速器（Kunlun P800、TianShu TianGai 150、MuXi C550、MUSA 等），并提供专属安装指南。
API 兼容性 – 与 Hugging Face 相同的类名（AutoTokenizer、AutoModelForCausalLM 等），使迁移变得简单。

安装（快速摘要）

先决条件 – Python ≥ 3.12、CUDA ≥ 13.0、PaddleFleet ≥ 0.3（用于 GPU 训练）。
Docker（推荐） – 拉取官方 PaddlePaddle GPU 镜像，并运行挂载了仓库的容器。

Pip / 源码 –

# 从源码（可编辑安装，含训练依赖）
git clone https://github.com/PaddlePaddle/PaddleFormers.git && cd PaddleFormers
python -m pip install -e '.[paddlefleet]' \
    --extra-index-url https://www.paddlepaddle.org.cn/packages/nightly/cu126/ \
    --extra-index-url https://www.paddlepaddle.org.cn/packages/stable/cu126/

或安装仅用于推理的二进制包：

python -m pip install paddleformers

特殊硬件 – 提供 XPU、ILUVATAR-GPU、Metax-GPU 和 MUSA 的独立指南。

快速开始代码

from paddleformers.transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B-Base")
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B-Base", dtype="bfloat16"
).eval()

inputs = tokenizer("请给我一段大模型的简短介绍：", return_tensors="pd")
output_ids = model.generate(**inputs, max_new_tokens=256)[0].tolist()[0]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

可以使用 CLI 启动训练：

paddleformers-cli train ./examples/config/sft/full.yaml

典型使用场景

研究与开发 – 在多 GPU 或多节点集群上预训练或继续训练大型 LLM（例如 DeepSeek-V4，128K 上下文）。
指令微调 – 应用 SFT、LoRA 或 DPO 来调整模型以进行聊天、推理或函数调用。
多模态项目 – 使用相同的 API 训练 VLM，例如 Qwen-VL 或 PaddleOCR-VL。
部署 – 导出为 Safetensors，并使用 FastDeploy、vLLM 或其他推理引擎提供服务。
国产硬件 – 利用 Kunlun、TianShu 或其他中国 GPU 进行成本效益高的大型模型训练。

社区与治理

开源许可 – Apache-2.0。
贡献 – 指南在 CONTRIBUTING.md 中；欢迎社区提交代码和模型。
支持渠道 – 官方微信二维码用于开发者群组，以及 GitHub issues 用于故障排除。
致谢 – 基于 Hugging Face Transformers 的设计理念。

总结： PaddleFormers 是 PaddlePaddle 生态系统的全栈、高性能 Transformers 库，针对大规模 LLM/VLM 训练、微调和部署，特别关注中国硬件和分布式训练效率。

PaddlePaddle/PaddleFormers