PrimeIntellect-ai/OpenDiloco

해결하는 문제

OpenDiLoCo는 통신 오버헤드가 낮은 대규모 모델의 글로벌 분산 학습을 위한 프레임워크를 제공합니다. 이는 일반적으로 분산 학습과 관련된 높은 대역폭 요구 사항이라는 병목 현상을 해결하여, 지리적으로 분산된 머신에서 모델을 학습할 수 있도록 합니다.

작동 원리

이 프레임워크는 분산 가중치 평균화를 활용하는 저통신 학습 전략(DiLoCo)을 구현합니다. PyTorch FSDP (Fully Sharded Data Parallel) 및 hivemind 라이브러리와 통합되어 있으며, 분산 해시 테이블(DHT)을 사용하여 피어 연결을 관리하고 워커 간의 가중치를 동기화합니다. 사용자는 분산 평균화에 필요한 내부 및 외부 최적화 루프를 처리하기 위해 표준 옵티마이저를 대체하는 DiLoCoOptimizer를 사용하여 이를 구현할 수 있습니다.

대상

다양한 위치에 분산된 컴퓨팅 리소스를 보유하고 있으며 동기화 통신 비용을 줄이고자 하는 대규모 트랜스포머 모델 학습 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 저통신 학습: 글로벌 분산 환경에 특화되어 설계되었습니다.
• 통합: PyTorch FSDP 및 hivemind 라이브러리와 함께 작동합니다.
• 드롭인 옵티마이저: 기존 학습 스크립트에 쉽게 통합할 수 있는 DiLoCoOptimizer를 제공합니다。
• 확장 가능한 아키텍처: DHT를 통한 분산 가중치 평균화를 지원합니다.