PrimeIntellect-ai/OpenDiloco

解決的問題

OpenDiLoCo 為低通訊開銷的大型模型全球分散式訓練提供了一個框架。它解決了分散式訓練通常伴隨的高頻寬需求瓶頸，允許在地理位置分散的機器上進行模型訓練。

工作原理

該框架實現了一種利用分散式權重平均化的低通訊訓練策略 (DiLoCo)。它與 PyTorch FSDP (Fully Sharded Data Parallel) 和 hivemind 函式庫整合，使用分散式雜湊表 (DHT) 來管理對等連接並在工作節點之間同步權重。使用者可以透過使用 DiLoCoOptimizer 來實現這一點，該優化器作為標準優化器的替代方案，處理分散式平均化所需的內部與外部優化迴圈。

適用對象

專為擁有跨不同地點分散式運算資源，並希望降低同步通訊成本的大型 Transformer 模型訓練研究人員與開發人員設計。

亮點

• 低通訊訓練：專為全球分散式環境設計。
• 整合性：可與 PyTorch FSDP 和 hivemind 函式庫協同工作。
• 即插即用優化器：提供 DiLoCoOptimizer，可輕鬆整合到現有的訓練腳本中。
• 可擴展架構：支援透過 DHT 進行分散式權重平均化。