NVIDIA/recsys-examples

解决的问题

本项目提供了一系列优化的推荐系统模型与组件，旨在处理大规模排序、检索和生成式推荐任务，同时最大化 GPU 性能。

运作方式

它结合了高性能模型架构与专用 GPU 库及自动化优化工具：

• 模型示例：实现了用于排序与检索的 HSTU (Hierarchical Sequential Transformer Unit)，以及使用分层语义 ID 预测进行生成式检索的 SID-GR (Semantic ID Generative Recommender)。
• GPU 库：包含用于模型并行动态嵌入表的 DynamicEmb（具备灵活的淘汰策略）、用于基于用户 ID 的 KV-cache 重用的 RecSys KVCache Manager，以及专用的束搜索解码注意力核心 (beam-search decode attention kernels)。
• 自动化优化：具备 Talos，这是一个代理驱动的工具包，利用编码代理（如 Claude Code 或 Codex）来分析 PyTorch 模型、重写热点代码并在无需人工干预的情况下验证加速效果。
• 部署：与 Triton Inference Server 和 AOTInductor 集成，实现原生 C++ 部署与优化服务。

目标对象

正在构建大规模推荐系统，且需要优化 NVIDIA GPU 上训练与推理延迟的机器学习工程师与研究人员。

特色亮点

• 代理式优化：通过 Talos 实现自动化端到端 PyTorch 模型优化。
• 生成式推荐：针对 SID-GR 训练与高束搜索 (high-beam) 推理提供专门支持。
• 高级嵌入管理：具备 GPU/主机哈希表存储与增量同步的动态嵌入表。
• 高效率推理：分页 KV-cache、CUDA 图形优化以及异步主机 KV 加载/卸载。