alibaba/TorchEasyRec

해결하는 문제

TorchEasyRec는 딥러닝 기반 추천 시스템을 구축하기 위한 프로덕션 대응 프레임워크를 제공합니다. 후보 생성(매칭), 점수 매기기(랭킹), 다중 작업 학습, 생성형 추천을 위한 복잡한 모델 개발을 단순화하여 연구와 프로덕션 배포 사이의 장벽을 줄입니다.

작동 방식

PyTorch와 TorchRec을 기반으로 하며, 사용자는 간단한 구성으로 모델을 정의할 수 있습니다. 추천 시스템에 필요한 대규모 데이터 처리 및 분산 학습을 처리하며, 하이브리드 데이터/모델 병렬 처리와 대규모 임베딩을 위한 샤딩을 지원합니다. 알리바바 클라우드의 데이터 웨어하우스(MaxCompute) 및 서빙 인프라(EAS)와 네이티브로 통합되며, Parquet 및 CSV와 같은 표준 형식도 지원합니다.

대상 사용자

프로덕션 환경에 고성능이고 확장 가능한 모델을 배포해야 하는 추천 시스템에 특화된 ML 엔지니어 및 데이터 과학자

주요 특징

• 풍부한 모델 라이브러리: DSSM, DeepFM, DIN, MMoE, DLRM-HSTU 등 20개 이상의 검증된 알고리즘 포함.
• 확장 가능한 인프라: 대규모 임베딩을 위한 행 단위, 열 단위, 테이블 단위 샤딩 및 충돌 없는 해싱과 에비크션 정책 지원.
• 프로덕션 대응: 학습과 서빙 간 일관된 특징 생성을 제공하며, TensorRT 및 AOTInductor를 통한 가속화 지원.
• 유연한 데이터 통합: MaxCompute, Parquet, CSV, Kafka 스트리밍 데이터에 대한 네이티브 지원.