PersiaML/PERSIA
High performance distributed framework for training deep learning recommendation models based on PyTorch.
해결하는 문제
PERSIA는 단일 장치 메모리 용량을 초과하는 거대한 딥러닝 추천 모델을 훈련하는 문제를 해결합니다. 일반 하드웨어에서 최대 100조 파라미터의 모델을 훈련할 수 있게 하여, 기존 훈련 시스템의 규모와 효율성 한계를 극복합니다.
작동 방식
하이브리드 가속을 활용한 PyTorch 기반 시스템으로, 병렬 추천 훈련 환경을 제공합니다. 이질적 병렬화를 통해 여러 하드웨어 구성 요소에 걸쳐 추천 모델을 확장하여 극도로 많은 파라미터를 처리하면서도 높은 효율성과 강건성을 유지합니다.
대상 사용자
특히 일반 하드웨어에서 분산 훈련이 필요한 데이터셋과 모델을 다루는 대규모 추천 시스템에 집중하는 머신러닝 엔지니어 및 연구자들.
주요 특징
- 극한 규모: 최대 100조 파라미터의 모델을 훈련할 수 있음.
- PyTorch 통합: 대규모 추천 훈련에 특화된, 처음으로 공개된 PyTorch 기반 시스템.
- PyTorch 기반: PyTorch 기반으로 구축되어 연구자들이 동일한 생태계와 쉽게 통합할 수 있음.
- 산업계 검증됨: 쿠아이쉬우(Kuaishou)에서 1억 명 수준의 일일 활성 사용자(DAU) 환경에서 실제 운영 검증 완료.
- 고효율성: 기존 추천 훈련 시스템보다 뚜렷한 성능 우위를 보임.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트