alibaba/TorchEasyRec

何を解決するか

TorchEasyRecは、深層学習推薦システムを構築するためのプロダクション対応フレームワークを提供します。候補生成（マッチング）、スコアリング（ランク付け）、マルチタスク学習、生成型推薦のための複雑なモデルの開発を簡素化し、研究とプロダクションデプロイの間の摩擦を軽減します。

どう動くか

PyTorch と TorchRec を基盤として構築されており、ユーザーはシンプルな設定でモデルを定義できます。推薦システムに必要な大規模なデータ処理と分散学習を処理し、ハイブリッドなデータ/モデル並列処理、および大規模な埋め込みのシャーディングをサポートします。Alibaba Cloud のデータウェアハウス（MaxCompute）およびサービングインフラ（EAS）とネイティブに統合されており、Parquet や CSV などの標準フォーマットもサポートしています。

対象ユーザー

プロダクション環境に高性能でスケーラブルなモデルをデプロイする必要がある、推薦システムに特化した ML エンジニアおよびデータサイエンティスト

特徴

• 広範なモデルライブラリ: DSSM、DeepFM、DIN、MMoE、DLRM-HSTU など、20 種類以上の実績のあるアルゴリズムを含む。
• スケーラブルなインフラ: 大規模な埋め込みに対する行単位、列単位、テーブル単位のシャーディング、および衝突ゼロのハッシュとエヴィクションポリシーをサポート。
• プロダクション対応: 学習とサービングの間で一貫した特徴生成を提供し、TensorRT および AOTInductor を用いた高速化を実現。
• 柔軟なデータ統合: MaxCompute、Parquet、CSV、Kafka ストリーミングデータに対するネイティブサポート。