alibaba/TorchEasyRec

它解决了什么问题

TorchEasyRec 是一个基于 PyTorch 的框架，旨在简化生产级深度学习推荐系统的开发与部署。它解决了实现最先进推荐模型、管理大规模嵌入（embeddings）以及确保训练与推断之间特征生成一致性的复杂性。

运作原理

该框架提供了一套针对不同推荐阶段预先实现的模型，包括候选生成（召回）、评分（排序）、多任务学习以及生成式推荐。它利用 TorchRec 进行混合数据与模型并行，通过各种分片策略（行、列、表级别）来处理大型嵌入。它还支持多种数据源，包括 MaxCompute、Parquet、CSV 和 Kafka 流，并与 Alibaba Cloud 的 PAI 生态系统集成，以进行分布式训练与 EAS 部署。

目标用户

此工具专为机器学习工程师与数据科学家设计，特别是那些专注于推荐系统，且需要为生产环境构建、扩展与训练高性能模型的专业人士。

特色亮点

• 丰富的模型库：包含 20 多种经过实战验证的算法，如 DSSM、DeepFM、DIN、MMoE 和 DLRM-HSTU。
• C-Scale 可扩展性：支持混合精度（FP16/BF16）的分布式训练，以及用于动态嵌入的零碰撞哈希（zero-collision hashing）。
• 生产级集成：与 Alibaba Cloud PAI-DLC、PAI-DSW 和 EAS 原生集成，实现无缝部署，并通过 TensorRT/AOTInductor 进行加速。
• 灵活的特征工程：支持超过 10 种特征类型（例如 IdFeature、SequenceFeature），并允许轻松实现自定义特征与模型。