Google DeepMind Decoupled DiLoCo

Google DeepMind는 지리적으로 멀리 떨어진 데이터 센터 전반에서 대규모 언어 모델(LLM)을 학습시키기 위해 설계된 새로운 분산 아키텍처인 Decoupled DiLoCo (Distributed Low-Communication)를 발표했습니다. 학습 실행을 비동기식 "islands" 형태의 컴퓨팅으로 분리함으로써, 이 시스템은 하드웨어 장애를 격리하고 전통적인 밀결합(tightly coupled) 동기화와 관련된 통신 병목 현상을 제거합니다.

비동기 학습 및 하드웨어 회복 탄력성

Decoupled DiLoCo는 비동기 데이터 흐름을 사용하여 learner units라고 알려진 별도의 컴퓨팅 아일랜드 간의 학습을 가능하게 합니다. 이 아키텍처는 한 지역의 칩 장애가 다른 learner units의 진행을 방해하는 것을 방지하여, 시스템을 전통적인 방식보다 훨씬 더 결함 허용(fault-tolerant) 능력이 뛰어나게 만듭니다.

주요 회복 탄력성 기능은 다음과 같습니다:

• 자가 치유 인프라: 시스템은 전체 learner units가 손실된 후에도 학습을 계속할 수 있으며, 해당 유닛들이 다시 온라인 상태가 되면 원활하게 재통합할 수 있습니다.
• 카오스 엔지니어링 검증: Google DeepMind는 인위적인 하드웨어 장애를 사용하여, 이 시스템이 장애 발생 시 기존 학습 방식보다 학습 클러스터의 가용성을 더 높게 유지함을 확인했습니다.
• ML 성능 동등성: Gemma 4 모델을 사용한 테스트 결과, Decoupled DiLoCo는 하드웨어 장애에 대한 회복 탄력성이 증가했음에도 불구하고 전통적인 학습 방식과 동일한 벤치마크 머신러닝 성능을 제공하는 것으로 나타났습니다.

저대역폭, 글로벌 규모의 사전 학습

Decoupled DiLoCo는 광역 네트워크(WAN)를 통한 프로덕션 수준의 사전 학습을 위해 설계되었으며, 컴퓨팅 유닛이 동기화를 위해 대기해야 하는 "blocking" 병목 현상을 피합니다.

실제 실험에서 Google DeepMind는 미국의 4개 별도 지역에 걸쳐 120억 파라미터 모델을 학습시켰습니다. 기술적 결과는 다음과 같습니다:

• 네트워크 요구 사항: 학습은 데이터 센터 간의 기존 인터넷 연결으로 달성 가능한 수준인 2-5 Gbps의 광역 네트워킹을 사용하여 실행되었습니다.
• 속도 향상: 이 시스템은 통신을 더 긴 계산 기간에 통합함으로써 기존 동기화 방식보다 20배 이상 빠른 학습 결과를 달성했습니다.
• 대역폭 효율성: 이 아키텍처는 기존 학습 방식보다 수십 배 적은 대역폭을 요구합니다.

이기종 하드웨어 지원

이 아키텍처는 단일 학습 실행 내에서 서로 다른 하드웨어 세대를 혼합할 수 있도록 하여, 총 가용 컴퓨팅 자원을 늘리고 하드웨어 수명을 연장합니다.

Google DeepMind는 서로 다른 세대의 칩(구체적으로 TPU v6e 및 TPU v5p)을 서로 다른 속도로 실행하여 혼합하더라도 단일 칩 유형 학습 실행의 ML 성능과 일치함을 입증했습니다. 이 기능은 서로 다른 시설에 걸쳐 새로운 하드웨어 세대가 단계적으로 도입됨에 따라 발생하는 물류적 병목 현상을 완화합니다.