PaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.

PaddleFormers – PaddlePaddle 上の Transformers

概要 – PaddleFormers は、Hugging Face Transformers スタイルの API を百度の深層学習フレームワーク PaddlePaddle にもたらすライブラリです。高性能な分散戦略（テンソル、パイプライン、エキスパート並列、FP8 など）を用いた大規模言語モデル（LLM）および視覚言語モデル（VLM）のトレーニングとファインチューニングに焦点を当て、最新モデルの広範なカタログをサポートしています。

主な機能（README による）

幅広いモデルカバレッジ – 100 以上の LLM および VLM ファミリー（DeepSeek-V3/V4、GLM-4.5、Qwen 2/3/3.5、Llama 3/4、ERNIE-4.5、Gemma-3 など）。
パフォーマンス優先のトレーニング – FP8 低精度、FlashMLA アテンション、高度に最適化された通信/計算オーバーラップ、エキスパート並列ライブラリ（DeepEP/HybridEP）。複数のモデルで Megatron-LM を上回ると主張。
完全なトレーニングパイプライン – 事前トレーニング、命令チューニング（SFT/LoRA）、選好アライメント（DPO/LoRA）、およびポストトレーニング機能（CPT、SFT-LoRA、DPO-LoRA、関数呼び出し、推論、グラウンディングなど）。
Safetensors サポート – モデルは相互運用可能な Safetensors 形式で保存され、FastDeploy、vLLM、SGLang などで使用可能。
ハードウェアの柔軟性 – 中国製アクセラレータ（Kunlun P800、TianShu TianGai 150、MuXi C550、MUSA など）をネイティブサポートし、専用のインストールガイドを提供。
API 互換性 – Hugging Face と同じクラス名（AutoTokenizer、AutoModelForCausalLM など）を使用するため、移行が簡単。

インストール（クイックサマリー）

前提条件 – Python ≥ 3.12、CUDA ≥ 13.0、PaddleFleet ≥ 0.3（GPU トレーニング用）。
Docker（推奨） – 公式 PaddlePaddle GPU イメージをプルし、リポジトリをマウントしたコンテナを実行。

Pip / ソース –

# ソースから（トレーニング依存関係を含む編集可能インストール）
git clone https://github.com/PaddlePaddle/PaddleFormers.git && cd PaddleFormers
python -m pip install -e '.[paddlefleet]' \
    --extra-index-url https://www.paddlepaddle.org.cn/packages/nightly/cu126/ \
    --extra-index-url https://www.paddlepaddle.org.cn/packages/stable/cu126/

または、推論専用のバイナリパッケージをインストール：

python -m pip install paddleformers

特別なハードウェア – XPU、ILUVATAR-GPU、Metax-GPU、MUSA 用の個別ガイドを提供。

クイックスタートコード

from paddleformers.transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B-Base")
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B-Base", dtype="bfloat16"
).eval()

inputs = tokenizer("請給我一段大模型的簡短介紹：", return_tensors="pd")
output_ids = model.generate(**inputs, max_new_tokens=256)[0].tolist()[0]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

CLI でトレーニングを開始できます：

paddleformers-cli train ./examples/config/sft/full.yaml

典型的なユースケース

研究開発 – マルチ GPU またはマルチノードクラスタで大規模 LLM（例：DeepSeek-V4、128K コンテキスト）を事前トレーニングまたは継続トレーニング。
命令ファインチューニング – SFT、LoRA、または DPO を適用して、チャット、推論、関数呼び出し用にモデルを適応。
マルチモーダルプロジェクト – Qwen-VL や PaddleOCR-VL などの VLM を同じ API でトレーニング。
デプロイ – Safetensors にエクスポートし、FastDeploy、vLLM、または他の推論エンジンでサービスを提供。
国内ハードウェア – Kunlun、TianShu、または他の中国製 GPU を活用して、コスト効率の高い大規模モデルトレーニングを実現。

コミュニティとガバナンス

オープンソースライセンス – Apache-2.0。
貢献 – ガイドラインは CONTRIBUTING.md にあり、コミュニティからのコードとモデルの提出を歓迎。
サポートチャネル – 開発者グループ用の公式 WeChat QR コード、およびトラブルシューティング用の GitHub issues。
謝辞 – Hugging Face Transformers の設計アイデアに基づいています。

まとめ： PaddleFormers は、PaddlePaddle エコシステム向けのフルスタックで高性能な Transformers ライブラリであり、大規模 LLM/VLM のトレーニング、ファインチューニング、デプロイを対象とし、中国のハードウェアと分散トレーニング効率に特に重点を置いています。

PaddlePaddle/PaddleFormers