vllm-project/humming

解决的问题

Humming 满足了针对量化神经网络推理优化的高性能、灵活矩阵乘法（GEMM）内核的需求。它允许开发者使用各种低比特精度格式运行模型，而不会牺牲速度或兼容性。

工作原理

它采用即时编译（JIT）方法动态生成优化内核。通过支持多种权重类型（从 INT4 到 FP8）和激活类型，用户可以直接在 NVIDIA GPU 上定义层配置、加载权重并执行高速量化计算。

适用对象

该库面向构建或优化 AI 推理引擎的开发者和研究人员，他们需要在现代 NVIDIA 硬件上实现自定义量化策略或支持多种低比特精度格式。

亮点

• 支持多种精度格式，包括 FP16、BF16、FP8、FP4、INT8 和 INT4。
• 与 Turing 架构（SM75）及更新的 NVIDIA GPU 高度兼容。
• 极其轻量，包大小仅 100KB 以上，依赖极少。
• 针对标准 Dense GEMM 和混合专家（MoE）架构进行了优化。
• 为量化工作负载提供最先进的吞吐量和效率。