vllm-project/humming

解決する課題

Humming は、量子化ニューラルネットワーク推論に特化した高性能で柔軟な行列乗算（GEMM）カーネルのニーズに応えます。開発者は、速度や互換性を犠牲にすることなく、さまざまな低ビット精度フォーマットでモデルを実行できます。

仕組み

Just-In-Time（JIT）コンパイルアプローチを使用して、最適化されたカーネルをその場で生成します。幅広い重みタイプ（INT4 から FP8 まで）とアクティベーションタイプをサポートすることで、ユーザーはレイヤー構成を定義し、重みをロードし、NVIDIA GPU 上で直接高速な量子化計算を実行できます。

対象ユーザー

このライブラリは、AI 推論エンジンを構築または最適化する開発者や研究者を対象としており、カスタム量子化戦略の実装や、最新の NVIDIA ハードウェアでの多様な低ビット精度フォーマットのサポートが必要な方に適しています。

ハイライト

• FP16、BF16、FP8、FP4、INT8、INT4 を含む多様な精度フォーマットをサポート。
• Turing アーキテクチャ（SM75）以降の NVIDIA GPU と高い互換性。
• パッケージサイズがわずか 100KB 強で、依存関係が最小限の非常に軽量な設計。
• 標準の Dense GEMM と Mixture-of-Experts（MoE）アーキテクチャの両方に最適化。
• 量子化ワークロードに対して最先端のスループットと効率を提供。