pytorch/FBGEMM

FB (Facebook) + GEMM (General Matrix-Matrix Multiplication) - https://code.fb.com/ml-applications/fbgemm/

해결하는 문제

FBGEMM은 딥러닝 애플리케이션을 위한 고도로 최적화된 커널을 제공하며, 저정밀도 연산을 사용하여 서버 측 추론을 더 빠르고 효율적으로 만드는 데 중점을 둡니다. 저정밀도 행렬 곱셈 및 합성곱과 관련하여 일반적으로 발생하는 대역폭 제한 작업과 정확도 손실 문제를 해결합니다.

작동 방식

이 프로젝트는 세 가지 전문화된 패키지로 나뉩니다:

FBGEMM: x86 머신을 위한 라이브러리로, 행별 및 이상치 인식 양자화 기술을 활용하여 정확도를 유지하면서 고성능, 저정밀도 일반 행렬 곱셈(GEMM) 및 합성곱을 제공합니다.
FBGEMM_GPU: 훈련 및 추론을 위해 설계된 PyTorch GPU 연산자 라이브러리 모음으로, 추천 시스템에 특히 중점을 둡니다.
FBGEMM_GPU GenAI: 생성형 AI에 맞춤화된 GPU 연산자 라이브러리 모음으로, FP8 행별 양자화 및 집합 통신과 같은 기능을 제공합니다.

대상 사용자

x86 서버 또는 GPU에서 PyTorch를 사용하며 성능을 최대화하고 저정밀도 작업을 최적화해야 하는 딥러닝 추론 엔진 개발자 및 연구원.

주요 특징

저정밀도 최적화: 고성능 행렬 곱셈 및 합성곱을 위한 전문화된 커널.
PyTorch 통합: x86 머신에서 PyTorch 양자화 연산자의 백엔드 역할 수행.
양자화 기술: 정확도 손실을 최소화하기 위한 행별 및 이상치 인식 양자화 지원.
GenAI 지원: FP8 양자화를 포함한 생성형 AI를 위한 전용 GPU 연산자.
폭넓은 하드웨어 지원: x86 서버 및 GPU에 최적화되어 있으며 Huawei Ascend NPU용 커뮤니티 포트 제공.