meta-recsys/generative-recommenders

해결하는 문제

이 프로젝트는 전통적인 딥러닝 추천 모델(DLRMs)에서 발생하는 계산 확장성 문제를 해결합니다. 추천을 생성 모델링 문제로 재정의함으로써, 수십억 사용자 규모의 시스템을 더 효율적으로 처리할 수 있는 트리리온 파라미터 수준의 순차적 트랜스듀서를 활용할 수 있습니다.

작동 방식

이 프로젝트는 "생성형 추천기"(GRs)를 구현하며, 추천을 시퀀스 생성 작업으로 간주합니다. 학습 및 추론 속도를 가속화하기 위해 두 가지 주요 알고리즘을 도입합니다:

• HSTU (계층적 순차 트랜스듀서 유닛): 고성능 순차 추천을 위해 설계된 특화 아키텍처입니다.
• M-FALCON: 생성 프로세스를 추가로 가속화하기 위한 알고리즘입니다.

최대 효율성을 위해 커스텀 Triton 커널과 CUDA 커널을 포함하며, H100 GPU용 FlashAttention V3 기반의 어텐션 구현도 제공합니다.

대상 사용자

수십억 사용자 및 트리리온 파라미터 규모로 순차 모델을 확장하고자 하는 머신러닝 연구자 및 엔지니어를 위한 것입니다.

주요 특징

• 대규모 확장성: 실사용 가능한 수십억 사용자 규모의 추천 시스템에 대한 확장 법칙을 입증합니다.
• 성능 향상: 전통적인 방법 대비 학습 및 추론 속도를 10배에서 1000배까지 가속화한다고 주장합니다.
• 실증적 성공: MovieLens 및 Amazon Reviews 데이터셋에서 SASRec, BERT4Rec, GRU4Rec 등의 베이스라인을 초과하는 성능을 보입니다.
• 생산 준비 완료: DLRM-v3 모델과 학습 및 추론용 벤치마크를 포함하여 실제 환경 배포를 용이하게 합니다.