GPT‑QModel – LLM量子化の統合プラットフォーム

機能

GPT‑QModelは、さまざまな量子化技術（GPTQ、AWQ、ParoQuant、GGUF、FP8、EXL3、QQQなど）を使用して大規模言語モデル（LLM）を圧縮し、より小さく高速なバージョンに変換するPythonライブラリです。単一の一貫したAPIを提供します：

• キャリブレーション – サンプルデータセットでモデルの活性化統計を測定。
• 量子化 – 重みを低ビット形式（2‑8ビット、FP8など）に変換。
• 検証 – 量子化後もモデルの品質が維持されているか確認。
• 変換と保存 – GGUFやMLXなどの形式でチェックポイントをエクスポート。
• 高速推論 – vLLMやSGLangなどの人気ランタイムで量子化モデルをロード。

これらはすべて、NVIDIA CUDA、AMD ROCm、Huawei Ascend、Intel XPU、Appleシリコンメタル、通常のCPUなど、多くのハードウェアバックエンドで動作します。

主な機能（READMEに記載）

機能	詳細
幅広いメソッド対応	GPTQ、AWQ、ParoQuant、QQQ、GGUF、FP8、EXL3、GPTAQ、FOEM、BitsAndBytesなど。
複数ランタイム	🤗 Transformers、Optimum、PEFTとのネイティブ統合、推論バックエンドとしてvLLMとSGLang。
ハードウェアカバレッジ	CUDA、ROCm、Ascend NPU、Intel XPU、Apple Mシリーズ（Metal/MLX）、CPU（AVX/AMX）。
動的なレイヤーごとの量子化	各レイヤーに独自のビット幅を設定または完全に除外可能。
マルチGPUデータ並列量子化	GPU間で作業を分散すると最大約80 %の高速化。
Appleシリコンネイティブパイプライン	MシリーズチップでのMLXベースのGPTQ/AWQ量子化とEXL3ウェイト量子化。
広範なモデルカタログ	内部のMODEL_MAPにより200以上のモデルファミリー（Llama、Gemma、Qwen、DeepSeek、InternVLなど）をサポート。
パッケージングAPI	レイヤーごとのカーネル適合性のためのhf_パッキング/リパッキングAPI（AutoRoundなどのツールで使用）。
高性能カーネル	Marlin、Machete、BitBLAS、Triton、Exllama V3/EXL3、Intel Torch融合カーネル。
品質重視	ユニットテストカバレッジ、チェックポイント検証、4ビットGPTQ評価ツール。
オープンソース＆PyPI	Apache‑2.0ライセンス、GitHubおよびPyPIでリリース（pip install gptqmodel）。

誰が使うべきか？

• 研究エンジニア – 多くの別々のツールを組み合わせることなく、低ビットLLMを実験したい人。
• MLOpsチーム – 異種混合クラスターでモデルを量子化、検証、デプロイする再現可能なパイプラインが必要なチーム。
• 製品開発者 – メモリが限られているエッジデバイス（Apple Silicon、Intel CPUs、Ascend NPU）をターゲットにする人。
• コミュニティ貢献者 – 新しい量子化メソッドを構築する人 – モジュール式の「メソッド → 形式 → バックエンド」マトリックスにより、カスタムカーネルのプラグインが容易。

開始方法（READMEからのクイック例）

pip install 'gptqmodel[mlx]'   # Appleシリコン用のオプションMLX

from gptqmodel import GPTQModel

# AppleシリコンでネイティブMLXパイプラインを使用してQwenモデルを量子化
GPTQModel.quantize_mlx(
    "Qwen/Qwen3-0.6B",
    "./qwen3-mlx-gptq",
    method="gptq",   # または"awq"
)

同じAPIがCUDA、ROCm、またはCPUバックエンドでも動作します。適切な追加パッケージをインストールし、希望するmethodとformatを選択するだけです。

エコシステムと採用

READMEには、Hugging Face、Intel、NVIDIA、Alibaba Cloudからの公開リファレンスがリストされており、ライブラリが本番グレードのパイプラインやモデルホスティングサービスで使用されていることを示しています。

---

上記の情報はすべてリポジトリのREADMEから直接取得したものであり、追加の機能は推測されていません。