NVIDIA/recsys-examples

해결 과제

이 프로젝트는 대규모 랭킹, 검색 및 생성형 추천 작업을 처리하면서 GPU 성능을 극대화하도록 설계된 최적화된 추천 시스템 모델 및 구성 요소 모음을 제공합니다.

작동 방식

고성능 모델 아키텍처와 특수 GPU 라이브러리 및 자동화된 최적화 도구를 결합합니다:

• 모델 예시: 랭킹 및 검색을 위한 HSTU (Hierarchical Sequential Transformer Unit)와 계층적 의미론적 ID 예측을 사용하는 생성형 검색을 위한 SID-GR (Semantic ID Generative Recommender)을 구현합니다.
• GPU 라이브러리: 유연한 제거 정책을 갖춘 모델 병렬 동적 임베딩 테이블을 위한 DynamicEmb, 사용자 ID 기반 KV-캐시 재사용을 위한 RecSys KVCache Manager, 그리고 특수 빔 서치 디코드 어텐션 커널을 포함합니다.
• 자동화된 최적화: Talos를 제공합니다. 이는 코딩 에이전트(Claude Code 또는 Codex 등)를 사용하여 PyTorch 모델을 프로파일링하고, 핫스팟을 재작성하며, 사람의 개입 없이 속도 향상을 검증하는 에이전트 기반 툴킷입니다.
• 배포: Triton Inference Server 및 AOTInductor와 통합되어 네이티브 C++ 배포 및 최적화된 서빙을 지원합니다.

대상 사용자

대규모 추천 시스템을 구축하며 NVIDIA GPU에서의 학습 및 추론 지연 시간을 최적화해야 하는 머신러닝 엔지니어 및 연구자.

주요 특징

• 에이전트 기반 최적화: Talos를 통한 자동화된 엔드투엔드 PyTorch 모델 최적화.
• 생성형 추천: SID-GR 학습 및 고성능 빔 서치 추론에 대한 전문적인 지원.
• 고급 임베딩 관리: GPU/호스트 해시 테이블 스토리지 및 증분 동기화를 갖춘 동적 임베딩 테이블.
• 고효율 추론: 페이징된 KV-캐시, CUDA 그래프 최적화 및 비동기 호스트 KV 로드/언로드.