PaddlePaddle/PaddleFormers

解決する課題

PaddleFormersは、PaddlePaddleエコシステム内における大規模言語モデル（LLM）および視覚言語モデル（VLM）のための高性能トレーニングライブラリを提供します。Hugging Face Transformersと同等のモデルインターフェースと機能体験を提供することを目指しつつ、高性能な分散トレーニングの最適化、リソース消費の削減、および複雑な基盤最適化の詳細の簡素化を実現します。

仕組み

PaddlePaddleディープラーニングフレームワーク上に構築された本ライブラリは、テンソル並列、パイプライン並列、エキスパート並列を含む幅広い分散トレーニング戦略を実装しています。自動混合精度（AMP）、FP8低精度トレーニング、通信・計算オーバーラップなどの高度な加速技術を利用しています。DeepSeek-V4のような特定のアーキテクチャに対しては、FlashMLAや高性能FP8 MoEモジュールなどの専用オペレータを組み込み、効率を最大化します。

対象ユーザー

PaddlePaddleフレームワークを使用して大規模モデル（LLMおよびVLM）のトレーニングまたはファインチューニングを行う必要があるAI研究者および開発者。特に、中国国内のハードウェア（Kunlunxin、Iluvatar、Metax、Moore Threadsなど）を利用している方や、特定のシナリオでMegatron-LMを超えるパフォーマンスを求めている方に適しています。

ハイライト

• 幅広いモデルサポート: DeepSeek-V3/V4、GLM-4.5、Qwenシリーズ、ERNIEシリーズを含む100以上の主流モデルをサポート。
• フルライフサイクル・トレーニング: 事前学習、継続的事前学習（CPT）から、SFT、SFT-LoRA、DPO、DPO-LoRAなどの事後学習技術までの全パイプラインをサポート。
• Hugging Face互換性: API設計はHugging Face Transformersと高度に一致しており、vLLMやSGLangなどのツールへのシームレスな重み転送のためにSafetensors形式をサポート。
• 高性能最適化: データフローとトレーニング速度を最適化するために、Data PackingおよびPadding Free技術を実装。
• 幅広いハードウェア適応: 標準的なNVIDIA GPU以外の、様々な中国国内AIチップに深く適応。