alibaba/TorchEasyRec

解決的問題

TorchEasyRec 提供一個生產就緒的框架，用於建構深度學習推薦系統。它簡化了候選生成（匹配）、評分（排序）、多任務學習與生成式推薦等複雜模型的開發，降低研究與生產部署之間的摩擦。

如何運作

基於 PyTorch 與 TorchRec 建構，此框架允許使用者透過簡單的設定定義模型。它處理推薦系統所需的大量資料處理與分散式訓練需求，包括混合資料/模型平行處理，以及大規模嵌入的分片。它原生整合阿里雲的資料倉儲（MaxCompute）與服務基礎設施（EAS），同時也支援 Parquet 與 CSV 等標準格式。

適用對象

需要將高效率、可擴展的模型部署至生產環境的推薦系統領域 ML 工程師與資料科學家。

主要亮點

• 豐富的模型庫：包含超過 20 種經過實戰驗證的演算法，如 DSSM、DeepFM、DIN、MMoE 與 DLRM-HSTU。
• 可擴展的基礎設施：支援大規模嵌入的行級、欄級與表級分片，以及零衝突哈希與淘汰策略。
• 生產就緒：在訓練與服務之間提供一致的特徵產生，並透過 TensorRT 與 AOTInductor 實現加速。
• 靈活的資料整合：原生支援 MaxCompute、Parquet、CSV 與 Kafka 流式資料。