alibaba/TorchEasyRec

해결하는 문제

TorchEasyRec은 프로덕션 수준의 딥러닝 추천 시스템 개발 및 배포를 간소화하기 위해 설계된 PyTorch 기반 프레임워크입니다. 최신 추천 모델 구현, 대규모 임베딩(embeddings) 관리, 학습과 서빙 간의 일관된 특징 생성 보장 등 복잡한 문제를 해결합니다.

작동 원리

이 프레임워크는 후보 생성(매칭), 스코어링(랭킹), 멀티태스킹 학습, 생성형 추천 등 다양한 추천 단계를 위한 사전 구현된 모델 제품군을 제공합니다. TorchRec을 활용한 하이브리드 데이터 및 모델 병렬 처리를 통해 다양한 샤딩 전략(행 단위, 열 단위, 테이블 단위)으로 대규모 임베딩을 처리합니다. 또한 MaxCompute, Parquet, CSV, Kafka 스트리밍 등 다양한 데이터 소스를 지원하며, Alibaba Cloud의 PAI 생태계와 통합되어 분산 학습 및 EAS 배포를 수행할 수 있습니다.

대상 사용자

이 도구는 추천 시스템을 전문으로 하며, 프로덕션 환경을 위한 고성능 모델을 구축, 확장 및 학습해야 하는 머신러닝 엔지니어와 데이터 과학자를 위한 것입니다.

주요 특징

• 방대한 모델 라이브러리: DSSM, DeepFM, DIN, MMoE, DLRM-HSTU 등 20개 이상의 실전 검증된 알고리즘 포함.
• C-Scale 확장성: 혼합 정밀도(FP16/BF16)를 사용한 분산 학습 및 동적 임베딩을 위한 제로 충돌 해싱(zero-collision hashing) 지원.
• 프로덕션 통합: Alibaba Cloud PAI-DLC, PAI-DSW, EAS와의 네이티브 통합을 통해 원활한 배포를 지원하며, TensorRT/AOTInductor를 통한 가속화 제공.
• 유연한 특징 엔지니어링: 10개 이상의 특징 유형(예: IdFeature, SequenceFeature)을 지원하며, 사용자 정의 특징 및 모델을 쉽게 구현 가능.