alibaba/TorchEasyRec

解决的问题

TorchEasyRec 提供了一个生产就绪的框架，用于构建深度学习推荐系统。它简化了候选生成（匹配）、打分（排序）、多任务学习和生成式推荐等复杂模型的开发，降低了研究与生产部署之间的摩擦。

如何工作

基于 PyTorch 和 TorchRec 构建，该框架允许用户通过简单的配置定义模型。它处理推荐系统所需的大规模数据处理和分布式训练需求，包括混合数据/模型并行和大嵌入的分片。它原生集成阿里云的数据仓库（MaxCompute）和推理基础设施（EAS），同时也支持 Parquet 和 CSV 等标准格式。

适用人群

需要将高性能、可扩展的模型部署到生产环境的推荐系统领域的 ML 工程师和数据科学家。

主要亮点

• 丰富的模型库：包含 20 多个经过实战验证的算法，如 DSSM、DeepFM、DIN、MMoE 和 DLRM-HSTU。
• 可扩展的基础设施：支持大嵌入的行级、列级和表级分片，以及无冲突哈希和淘汰策略。
• 生产就绪：在训练和推理之间提供一致的特征生成，并通过 TensorRT 和 AOTInductor 实现加速。
• 灵活的数据集成：原生支持 MaxCompute、Parquet、CSV 和 Kafka 流式数据。