NVIDIA/recsys-examples

解決する課題

本プロジェクトは、大規模なランキング、検索、生成AI推薦タスクを処理しつつ、GPUパフォーマンスを最大化するために設計された、最適化されたレコメンデーションモデルとコンポーネントのコレクションを提供します。

仕組み

高性能なモデルアーキテクチャと、専用のGPUライブラリおよび自動最適化ツールを組み合わせています：

• モデル例: ランキングと検索のための HSTU (Hierarchical Sequential Transformer Unit) や、階層的セマンティックID予測を用いた生成検索のための SID-GR (Semantic ID Generative Recommender) を実装しています。
• GPUライブラリ: 柔軟なエビクションポリシーを備えたモデル並列動的埋め込みテーブル用の DynamicEmb、ユーザーIDベースのKVキャッシュ再利用のための RecSys KVCache Manager、および専用のビームサーチデコードアテンションカーネルが含まれています。
• 自動最適化: Talos を搭載。これは、コーディングエージェント（Claude Code や Codex など）を使用して PyTorch モデルをプロファイリングし、ホットスポットを書き換え、人間の介入なしに高速化を検証するエージェント駆動型ツールキットです。
• デプロイメント: Triton Inference Server および AOTInductor と統合されており、ネイティブな C++ デプロイメントと最適化されたサービングを実現します。

対象読者

大規模なレコメンデーションシステムを構築しており、NVIDIA GPU 上でのトレーニングおよび推論レイテンシを最適化する必要がある機械学習エンジニアおよび研究者。

ハイライト

• エージェントによる最適化: Talos を介した自動化されたエンドツーエンドの PyTorch モデル最適化。
• 生成AI推薦: SID-GR トレーニングおよび高ビーム推論に対する専門的なサポート。
• 高度な埋め込み管理: GPU/ホストハッシュテーブルストレージと増分同期を備えた動的埋め込みテーブル。
• 高効率な推論: ページングされた KV キャッシュ、CUDA グラフ最適化、および非同期ホスト KV ロード/アンロード。