alibaba/RecIS

해결하는 문제

RecIS는 초대규모 추천 시스템 학습의 과제를 해결하도록 설계되었습니다. 특히 스파스 및 디펜스 계산과 관련된 성능 저하 문제를 해결하여 산업 수준의 추천 모델을 다중 모달 및 대규모 모델 학습과 하나의 프레임워크 내에서 통합할 수 있도록 합니다.

작동 방식

PyTorch 생태계를 기반으로 모듈형 아키텍처를 사용하여 학습 파이프라인을 간소화합니다.

• ColumnIO: 분산 샤딩된 데이터 읽기 및 사전 계산을 처리합니다.
• Feature Engine: 해싱 및 버킷화와 같은 특징 공학을 오퍼레이터 융합으로 관리하여 GPU 오버헤드를 줄입니다.
• Embedding Engine: 확장 가능하고 충돌 없는 KV 저장 임베딩 테이블을 관리하며, 다중 테이블 융합을 통해 메모리 접근을 최적화합니다.
• Saver: SafeTensors 형식을 사용하여 스파스 파라미터를 저장하고 로드합니다.
• Pipelines: 다단계 및 다목적 계산을 포함한 전체 학습 워크플로우를 조율합니다.

성능 최적화를 위해 동적 임베딩을 위한 이중 레벨 저장소 아키텍처("IDMap" 및 "EmbeddingBlocks")를 사용하며, 분산 파라미터 샤딩 및 요청 병합을 위해 All-to-All 집합 통신을 활용합니다.

대상 사용자

스파스 모델의 고성능 학습이 필요한 산업 규모의 추천, 광고, 검색 시스템을 개발하는 머신러닝 엔지니어 및 연구자에게 적합합니다.

주요 특징

• 통합 프레임워크: 추천 및 대규모 모델 시나리오에서의 스파스-디펜스 계산 요구를 통합합니다.
• GPU 최적화: 오퍼레이터 융합 및 벡터화된 메모리 접근을 통해 GPU 활용도를 극대화하고 시작 오버헤드를 줄입니다.
• 분산 확장성: 계산 노드 간에 효율적인 파라미터 집계 및 샤딩을 구현합니다.
• 동적 임베딩: 임베딩 저장소에 대한 유연한 하드웨어 적응("GPU/CPU" 배치)을 지원합니다.