ServiceNow/Fast-LLM

解決的問題

Fast-LLM 是為加速大語言模型（LLMs）訓練而設計，可顯著減少從 1B 到 70B+ 參數模型訓練所需之時間與成本。它解決了在大型 GPU 集群上訓練超大模型時所面臨的可擴展性與記憶體效率挑戰。

工作原理

基於 PyTorch 與 Triton 建構，該庫使用經過微調的內核與先進的平行技術以最大化吞吐量。實作 3D 平行（資料平行、張量平行與流水線平行）、序列長度平行，以及 ZeRO-1、2 與 3 用於記憶體優化。同時支援混合精度訓練與梯度累積，以處理大批次資料。

適用對象

需要使用高階運算集群（如 Slurm 或 Kubernetes）從零開始訓練大規模生成式 AI 模型，或進行微調的 AI 研究團隊與實務者。

主要亮點

• 高吞吐量：實現顯著加速，例如在 H100 上訓練 Mistral-7B 時達到 9,800 tokens/s。
• 可擴展性：支援跨多個節點與 GPU 的分散式訓練，並提供全面的平行選項。
• 彈性：相容常見的 GPT 類架構，並包含高效的無丟棄專家混合（MoE）實作。
• 易用性：提供預建 Docker 影像、基於 YAML 的設定檔，以及與 Hugging Face Transformers 的無縫整合。