alibaba/TorchEasyRec

解決する課題

TorchEasyRecは、本番環境に対応したディープラーニングレコメンデーションシステムの開発とデプロイを簡素化するために設計されたPyTorchベースのフレームワークです。最先端の推薦モデルの実装、大規模な埋め込み（embeddings）の管理、そしてトレーニングとサービング間での一貫した特徴量生成を確保する際の複雑さを解消します。

仕組み

このフレームワークは、候補生成（マッチング）、スコアリング（ランキング）、マルチタスク学習、生成型推薦など、さまざまな推薦ステージに対応した事前実装済みのモデルスイートを提供します。TorchRecを活用したハイブリッドデータおよびモデル並列処理により、さまざまなシャーディング戦略（行単位、列単位、テーブル単位）を通じて大規模な埋め込みを処理します。また、MaxCompute、Parquet、CSV、Kafkaストリーミングなど幅広いデータソースをサポートし、Alibaba CloudのPAIエコシステムと統合して分散トレーニングやEASデプロイメントを行うことができます。

対象ユーザー

本ツールは、レコメンデーションシステムを専門とし、本番環境向けに高性能なモデルを構築、スケーリング、トレーニングする必要がある機械学習エンジニアやデータサイエンティスト向けです。

主な特徴

• 豊富なモデルライブラリ: DSSM、DeepFM、DIN、MMoE、DLRM-HSTUなど、20以上の実戦で検証済みのアルゴリズムを収録。
• C-Scaleスケーラビリティ: 混合精度（FP16/BF16）による分散トレーニングと、動的埋め込みのためのゼロ衝突ハッシュ（zero-collision hashing）をサポート。
• 本番環境への統合: Alibaba Cloud PAI-DLC、PAI-DSW、EASとのネイティブ統合により、シームレスなデプロイとTensorRT/AOTInductorによる高速化を実現。
• 柔軟な特徴量エンジニアリング: 10種類以上の特徴量タイプ（IdFeature、SequenceFeatureなど）をサポートし、カスタム特徴量やモデルの実装も容易。