hpcaitech/ColossalAI

解決する課題

Colossal-AI は、非常に大規模な AI モデルのトレーニングと実行にかかる高コストと複雑さに取り組みます。700 億パラメータのモデルをトレーニングするには、通常、高価で特殊なハードウェアと分散システムに関する深い専門知識が必要です。Colossal-AI は、開発者が数行のコードでモデルを複数の GPU にスケールできる並列計算ツールを提供することで、大規模モデル AI をより安価で高速、かつアクセスしやすくします。

仕組み

Colossal-AI は、トレーニングまたは推論の作業を GPU 間で分割する複数の並列戦略を提供します。これには、データ並列（各 GPU が異なるデータを処理）、パイプライン並列（各 GPU がモデルの異なる段階を処理）、およびさまざまな形式のテンソル並列（モデルの層を GPU 間で分割）が含まれます。また、メモリ使用量を削減する ZeRO オプティマイザーと、最適な並列構成を自動的に見つける自動並列システムも実装しています。推論では、Colossal-Inference が速度を 2 倍にし、SwiftInfer が長いマルチターン会話を処理します。プロジェクトには、ビデオ生成用の Open-Sora、低コストのドメイン固有 LLM トレーニング用の Colossal-LLaMA-2、完全な RLHF パイプラインを備えた ChatGPT クローンを構築するための ColossalChat などの実世界アプリケーションも含まれています。

対象ユーザー

Colossal-AI は、大規模言語モデル、拡散モデル、またはその他の大規模 AI システムをトレーニングまたはデプロイする必要がある機械学習エンジニア、研究者、企業を対象としています。ハードウェアコストを削減したい、複数の GPU にスケールしたい、または予算内で LLaMA などのモデルを微調整したいチームに適しています。

ハイライト

• 複数の並列戦略をサポート：データ、パイプライン、1D/2D/2.5D/3D テンソル、シーケンス、ZeRO
• 自動並列が最適な構成を自動的に見つける
• 異種メモリ管理（PatrickStar）により、限られた GPU メモリに大規模モデルを適合
• 実証済みの高速化：RLHF トレーニング最大 10 倍高速、単一サーバートレーニング 7.73 倍高速
• 実世界の例：Open-Sora（ビデオ生成）、Colossal-LLaMA-2（低コストドメイン LLM）、ColossalChat（ChatGPT クローン）、Stable Diffusion 高速化
• 7B モデルを競争力のあるパフォーマンスにトレーニングするコストはわずか数百ドル