meta-recsys/generative-recommenders

何を解決するか

このプロジェクトは、従来のディープラーニング推薦モデル（DLRMs）に見られる計算スケーリングのボトルネックに対処します。推薦を生成モデル化の問題に再定式化することで、数十億ユーザー規模のシステムをより効率的に処理できる、トランジリオンパラメータ級の順序付きトランスデューサーの利用が可能になります。

仕組み

このプロジェクトは「生成型リコメンダー」（GRs）を実装しており、推薦をシーケンス生成タスクとして扱います。トレーニングと推論を高速化するための2つの主要なアルゴリズムを導入しています：

• HSTU（階層的順序トランスデューサー単位）： 高性能な順序推薦向けに設計された特殊なアーキテクチャ。
• M-FALCON： 生成プロセスをさらに高速化するためのアルゴリズム。

最大の効率を実現するため、カスタムTritonカーネルとCUDAカーネルを含んでおり、H100 GPU向けにFlashAttention V3に基づくアテンション実装も提供されています。

対象ユーザー

大規模な推薦システムに取り組む機械学習研究者およびエンジニア向けに設計されています。特に、順序モデルを数十億ユーザーおよびトランジリオンパラメータ規模にスケーリングしたい方々に適しています。

主な特徴

• 大規模スケーリング： 実稼働済みの数十億ユーザー規模の推薦システムにおけるスケーリング法則を実証。
• パフォーマンス向上： 伝統的な手法と比較して、トレーニングおよび推論で10倍～1000倍の加速を達成すると主張。
• 実証的成功： MovieLensおよびAmazon Reviewsデータセットにおいて、SASRec、BERT4Rec、GRU4Recなどのベースラインを上回る性能を示す。
• プロダクション対応： DLRM-v3モデルとトレーニング・推論用ベンチマークを含み、実世界での展開を促進します。