PersiaML/PERSIA
High performance distributed framework for training deep learning recommendation models based on PyTorch.
何を解決するか
PERSIAは、単一デバイスのメモリ容量を超える巨大なディープラーニング推薦モデルのトレーニングという課題に対処します。コンシューマー用ハードウェア上で最大100兆パラメータのモデルをトレーニング可能にし、従来のトレーニングシステムのスケーラビリティと効率性のボトルネックを克服します。
仕組み
ハイブリッドアクセラレーションを活用したPyTorchベースのシステムであり、並列推薦トレーニング環境を提供します。異種並列化を活用することで、複数のハードウェアコンポーネントにわたって推薦モデルをスケーリング可能にし、極めて高いパラメータ数を扱いながらも、高い効率性と堅牢性を維持します。
対象ユーザー
特にコンシューマー用ハードウェア上で分散トレーニングを必要とするデータセットやモデルを扱う、大規模な推薦システムに注力する機械学習エンジニアおよび研究者。
特徴
- 極大スケール: 最大100兆パラメータのモデルのトレーニングが可能。
- PyTorch統合: 大規模な推薦トレーニングに特化した、初めての公開されたPyTorchベースのシステム。
- PyTorchベース: PyTorch上で構築されているため、研究者が同じエコシステムと統合しやすくなる。
- 産業界での検証済み: 快手（Kuaishou）の1億ユーザー規模の日次アクティブユーザー（DAU）環境で実績を証明済み。
- 高い効率性: 既存の推薦トレーニングシステムと比較して顕著な性能向上を示した。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト