Hugging Face DeDLOC: インターネットを介した言語モデルの共同トレーニング

Hugging Faceは、複数の参加者がインターネットを介して計算リソースを結合し、大規模言語モデルを事前学習するための新しい共同分散トレーニング手法であるDeDLOC (Distributed Deep Learning in Open Collaborations) を導入しました。このアプローチは、高性能GPUスーパーコンピュータと比較してインターネットの接続速度が遅いという従来のボトルネックを克服し、より広範なMLコミュニティが、中央集権的で高価なハードウェアを必要とせずに高品質なモデルをトレーニングできるようにします。

DeDLOC: インターネットを介した分散トレーニングの実現

DeDLOCは、大規模なデータセットでTransformerをトレーニングするという課題に対処します。これは通常、個人や小規模な組織の手が届かないハードウェアリソースを必要とします。データ並列の分散ディープラーニングは、通常、データをワーカーに分割して勾配を平均化しますが、このプロセスは、不安定な接続や限られた帯域幅のため、インターネット経由では通常失敗します。

フォルト・トレラントな勾配蓄積

ボランティアベースのコンピューティングの不安定さを扱うために、DeDLOCはオプティマイザーステップを実行する前に、すべての参加デバイスにわたって非常に大きなバッチを蓄積します。この手法は、組み込みのフォールトトレランスを提供します：

Peer Disconnection: もし参加者が切断された場合、その貢献は現在の蓄積されたバッチサイズから単に差し引かれ、他の参加者が補完します。
Scalability: より多くのピアが参加するにつれて、ターゲットとなるバッチサイズに到達する速度が速まり、自然にトレーニングプロセスを加速させます。

適応型平均化戦略

中央サーバーの過負荷を防ぎ、多様なハードウェアを考慮するために、DeDLOCはAll-Reduceプリミティブに基づいた適応型平均化アルゴリズムを使用します。システムは、各ピアのインターネット速度に基づいて勾配ベクトルを部分に分割することで、データ転送をオンザフライで最適化します：

High-speed peers は、勾配の最大の部分を集約します。
Firewalled peers は、データを集約のために送信しますが、自身で平均を計算することはありません。

これらの核となる分散型トレーニング技術は、Hivemind ライブラリに実装されています。

ケーススタディ：sahajBERTの事前学習

sahajBERTの有効性を実証するために、研究者は40人のボランティアによる共同イベントを使用して、ベンガル語のマスクド言語モデルであるsahajBERTを事前学習しました。

モデルアーキテクチャとトークナイゼーション

研究者は、ALBERT (A Lite BERT) アーキテクチャを選択しました。その理由は、重み共有メカニズムがパラメータ効率に優れ、ピア間のデータ交換量を削減できるからです。このモデルは約1800万の学習可能なパラメータを備えています。

ベンガル語のために、Unigram Language Model アプローチを用いた32kトークン語彙のカスタムトークナイザーが開発されました。前処理パイプラインには以下が含まれます：

Normalization: NMTおよびNFKC正規化、複数のスペースの除去、および繰り返し出現するUnicode文字の均一化。ただし、ベンガル語の母音に必要なアクセントは特別に保持されます。
Pretokenization: 句読点と数字の分離、および単語の開始を示すための特殊文字 (▁) の使用。

データセット・ストリーミング

ボランティアが膨大なローカルストレージを必要としないように、チームはdataset streaming を実装しました。これにより、参加者はコーパス全体を事前にダウンロードするのではなく、ベンガル語WikipediaのダンプとOSCARデータセットから、トレーニング例をトレーニングプロセスと並行してダウンロードおよび変換することができます。

共同実行と結果

トレーニングイベントは5月12日から5月21日まで行われ、40人の参加者（ベンガル語を話すボランティア30名と著者の組織のメンバー10名）が参加しました。実験では、安定性のために600の異なるセッションと16個の preemptible T4 クラウドインスタンスを利用し、合計234日の累積ランタイムを使用しました。

パフォーマンス評価

sahajBERTは、2つのダウンストリームタスク：WikiANNにおける名前付きエンティティ認識 (NER) と、Soham articles datasetにおけるニュースカテゴリ分類 (NCC) の2つで評価されました。わずか約18Mのパラメータを持ちながら、sahajBERTは、より大規模なモデルと比較して同等の結果を達成しました：

Model	NER F1 (mean ± std)	NCC Accuracy (mean ± std)
sahajBERT	95.45 ± 0.53	91.97 ± 0.47
XLM-R-large	96.48 ± 0.22	90.05 ± 0.38
IndicBert	92.52 ± 0.45	74.46 ± 1.91
bnRoBERTa	82.32 ± 0.67	80.94 ± 0.45

特に、sahajBERTのパフォーマンスは、約559Mのパラメータを持ち、数百のV100 GPUでトレーニングされた XLM-R-large と比較可能なレベルです。