AI-Hypercomputer/maxtext

解決する課題

MaxTextは、大規模言語モデル（LLM）のトレーニングのための高性能でスケーラブルなリファレンス実装を提供することを目的としています。単一ホストから非常に大規模なTPUおよびGPUクラスタまでスケーリングする際に、高いModel FLOPs Utilization（MFU）とスループット（1秒あたりのトークン数）を達成するという課題に対処しつつ、実装をシンプルでほぼ「最適化不要」に保ちます。

仕組み

純粋なPythonとJAXで書かれたMaxTextは、XLAコンパイラを活用してパフォーマンスを最適化します。Flax（ニューラルネットワーク）、Tunix（ポストトレーニング）、Orbax（チェックポイント）、Optax（最適化）、Grain（データローディング）など、JAX AIライブラリのスイートと統合されています。ゼロからの事前トレーニングと、教師ありファインチューニング（SFT）や、Group Relative Policy Optimization（GRPO）やGroup Sequence Policy Optimization（GSPO）などの強化学習（RL）手法を用いたスケーラブルなポストトレーニングの両方をサポートしています。

対象読者

研究環境と本番環境の両方で野心的なLLMプロジェクトを構築している研究者や開発者を対象としており、一般的なオープンソースモデルの事前トレーニングやポストトレーニングのためのスケーラブルなフレームワークを必要としています。

ハイライト

• 幅広いモデルサポート: Gemma、Llama、DeepSeek、Qwen、Mistralなど、さまざまなモデルをサポートし、高密度アーキテクチャとMixture-of-Experts（MoE）アーキテクチャの両方に対応しています。
• 高いスケーラビリティ: 数万チップにわたる事前トレーニングが可能です。
• マルチモーダル機能: Gemma 3、Gemma 4、Llama 4 VLMのマルチモーダルトレーニングをサポートしています。
• 多様なトレーニング手法: SFTおよびRL（GRPO、GSPO）の実装を提供し、Multi-Token Prediction（MTP）や、分散型低通信トレーニングのためのStreaming DiLoCoなどの高度な機能を組み込んでいます。
• ハードウェアターゲット: Google Cloud TPUおよびGPU向けに特別に最適化されています。

まとめ

TPUおよびGPU上で一般的なオープンソースモデルをトレーニングおよびポストトレーニングするための、JAXで書かれた高性能でスケーラブルなLLMライブラリおよびリファレンス実装です。

タイトル

スケーラブルなLLM事前トレーニングおよびポストトレーニングのための高性能なJAXベースのリファレンス実装