vllm-project/humming

해결하는 문제

Humming은 양자화 신경망 추론에 특화된 고성능 유연한 행렬 곱셈(GEMM) 커널의 필요성을 해결합니다. 개발자는 속도나 호환성을 희생하지 않고 다양한 저비트 정밀도 형식으로 모델을 실행할 수 있습니다.

작동 방식

JIT(Just-In-Time) 컴파일 방식을 사용하여 최적화된 커널을 즉석에서 생성합니다. INT4에서 FP8까지 다양한 가중치 유형과 활성화 유형을 지원하므로, 사용자는 레이어 구성을 정의하고 가중치를 로드한 다음 NVIDIA GPU에서 직접 고속 양자화 계산을 수행할 수 있습니다.

대상 사용자

이 라이브러리는 AI 추론 엔진을 구축하거나 최적화하는 개발자와 연구자를 대상으로 하며, 최신 NVIDIA 하드웨어에서 사용자 정의 양자화 전략을 구현하거나 다양한 저비트 정밀도 형식을 지원해야 하는 사람들에게 적합합니다.

주요 특징

• FP16, BF16, FP8, FP4, INT8, INT4를 포함한 다양한 정밀도 형식을 지원합니다.
• Turing 아키텍처(SM75) 이상의 NVIDIA GPU와 높은 호환성을 제공합니다.
• 패키지 크기가 100KB를 약간 넘고 의존성이 최소화된 매우 가벼운 설계입니다.
• 표준 Dense GEMM 및 Mixture-of-Experts(MoE) 아키텍처 모두에 최적화되어 있습니다.
• 양자화 워크로드에 대해 최첨단 처리량과 효율성을 제공합니다.