NVIDIA-Merlin/HugeCTR

해결하는 문제

HugeCTR는 매우 큰 임베딩 테이블을 가진 대규모 딥러닝 추천 모델의 학습과 배포 문제를 해결합니다. 이러한 모델은 일반적인 프레임워크로는 효율적으로 처리하기 어려울 정도로 크기 때문에 문제가 됩니다.

작동 방식

GPU 가속 기능을 갖춘 프레임워크로, 추천 시스템의 워크플로우를 최적화합니다. 모델 병렬 학습과 멀티노드 분산 처리를 통해 대규모 데이터셋과 모델 크기를 처리합니다. 고수준의 Python 인터페이스를 제공하며, GPU 가속 스파스 학습 및 추론 연산을 위한 Sparse Operation Kit도 포함합니다.

대상 사용자

대규모로 고성능 추천 시스템을 구축, 학습, 배포해야 하는 데이터 과학자 및 머신러닝 실무자에게 적합합니다.

주요 특징

• GPU 가속: MLPerf와 같은 추천 벤치마크에서 높은 성능을 발휘하도록 최적화되어 있습니다.
• 확장성: 대규모 임베딩을 관리하기 위해 멀티노드 학습과 모델 병렬 처리를 지원합니다.
• 개발자 친화적: 고수준 Python API, 포괄적인 문서, HugeCTR에서 ONNX로의 변환기 제공.
• 학습 효율성: 혼합 정밀도 학습을 지원하여 학습 과정을 가속화합니다.