EdoardoBotta/RQ-VAE-Recommender

何を解決するか

生成型推薦システムの実装の複雑さに対処します。アイテムは単なるIDではなく、トークンとして扱われます。ニューラル層を提供するだけでなく、意味的IDトークン化、データセット準備、識別子の衝突、アイテム検索用のシーケンスモデルの学習を含む完全な実験パイプラインを提供します。

動作方法

このプロジェクトは2段階のワークフローを実装しています：

1. 意味的IDトークン化：残差量子化変分オートエンコーダ（RQ-VAE）がカタログアイテムを短い離散的意味IDのタプルにマッピングします。
2. 生成型検索：Transformer（特にT5エンコーダデコーダ）がユーザーのこれらの意味的ID履歴を受け取り、最も可能性の高い次のアイテムのIDを生成します。

対象ユーザー

意味的トークン化、ベクトル量子化、コールドアイテム表現、生成型検索に注力する推薦システムの研究者および実務家向けに設計されています。

特徴

• 柔軟な量子化：K-means初期化と、Gumbel-Softmax、ストレートスルー、回転トリックを含む複数の勾配推定器をサポート。
• 統合パイプライン：Amazon ReviewsおよびMovieLensデータセットの自動前処理を含む。
• 衝突対処：意味的IDの衝突解消と、コーパスプレフィックス制約付き生成を備える。
• 研究用に最適化：T5ベースの検索モデルを提供し、組み込みのヒット率およびNDCG評価メトリクスを備える。