PrimeIntellect-ai/OpenDiloco

解决的问题

OpenDiLoCo 为低通信开销的大型模型全球分布式训练提供了一个框架。它解决了分布式训练通常伴随的高带宽需求瓶颈，允许在地理位置分散的机器上进行模型训练。

工作原理

该框架实现了一种利用分布式权重平均化的低通信训练策略 (DiLoCo)。它与 PyTorch FSDP (Fully Sharded Data Parallel) 和 hivemind 库集成，使用分布式哈希表 (DHT) 来管理对等连接并在工作节点之间同步权重。用户可以通过使用 DiLoCoOptimizer 来实现这一点，该优化器作为标准优化器的替代方案，处理分布式平均化所需的内部和外部优化循环。

适用对象

专为拥有跨不同地点分布式计算资源，并希望降低同步通信成本的大型 Transformer 模型训练研究人员和开发人员设计。

亮点

• 低通信训练：专为全球分布式环境设计。
• 集成性：可与 PyTorch FSDP 和 hivemind 库协同工作。
• 即插即用优化器：提供 DiLoCoOptimizer，可轻松集成到现有训练脚本中。
• 可扩展架构：支持通过 DHT 进行分布式权重平均化。