yandex/YaFSDP

解決的問題

YaFSDP 旨在優化大型語言模型 (LLM) 的預訓練，特別針對 Sharded Data Parallelism 中與通訊及記憶體操作相關的開銷。它旨在透過提高高記憶體壓力下的 GPU 利用率與效能，提供比 PyTorch FSDP (Fully Sharded Data Parallel) 更快的替代方案。

工作原理

它實現了一個專為類 Transformer 神經網路架構調優的 Sharded Data Parallelism 框架。透過減少通訊與記憶體操作開銷，它可以在多 GPU 訓練執行期間實現更快的迭代時間。

適用對象

使用 Hugging Face 技術棧，在大型 GPU 集群（範圍從 64 到 256 個裝置）上訓練大規模 Transformer 模型（如 Llama 2 與 Llama 3）的機器學習工程師與研究人員。

亮點

• 效能提升：與標準 FSDP 相比，LLM 預訓練速度提升高達 20%。
• 可擴展性：在多達 256 個 A100 GPU 上對 7B 到 70B 參數的模型進行了基準測試。
• 可擴展性：支援因果預訓練 (causal pre-training) 與監督式微調 (SFT)。
• 整合：透過提供的範例與 Docker 鏡像與 Hugging Face 生態系統協同工作。