meta-recsys/generative-recommenders

解决的问题

该项目解决了传统深度学习推荐模型（DLRMs）中存在的计算扩展瓶颈。通过将推荐问题重新表述为生成建模问题，使得能够使用万亿参数级的序列转换器，更高效地处理数十亿用户规模的系统。

工作原理

该项目实现了「生成式推荐器」（GRs），将推荐视为序列生成任务。引入了两种主要算法以加速训练和推理：

• HSTU（分层序列转换器单元）： 专为高性能序列推荐设计的特殊架构。
• M-FALCON： 旨在进一步加速生成过程的算法。

为实现最大效率，代码库包含自定义的 Triton 内核和 CUDA 内核，包括基于 FlashAttention V3 的注意力实现，专为 H100 GPU 优化。

适用人群

专为从事大规模推荐系统的大规模机器学习研究人员和工程师设计，特别是那些希望将序列模型扩展到数十亿用户和万亿参数规模的用户。

主要亮点

• 大规模扩展： 展示了在实际部署的数十亿用户规模推荐系统中的扩展规律。
• 性能提升： 声称相比传统方法，训练和推理速度提升 10 倍至 1000 倍。
• 实证成功： 在 MovieLens 和 Amazon Reviews 数据集上，性能优于 SASRec、BERT4Rec 和 GRU4Rec 等基线模型。
• 生产就绪： 包含 DLRM-v3 模型和训练与推理的基准测试，便于在真实场景中部署。