intel/auto-round

AutoRound – 面向LLM和VLM的训练后量化

简介 – AutoRound是一个Python库，可以让你在模型训练完成之后，将大型语言模型（LLM）和视觉语言模型（VLM）缩小到极低比特格式（权重2-4比特，以及一些混合精度选项）。目标是保持模型的精度接近原始模型（通常相差几个百分点以内），同时大幅减少内存占用和推理延迟。

重要性 – 在设备端或更廉价的硬件（CPU、Intel XPU、Gaudi HPU，甚至消费级GPU）上运行LLM通常需要大量RAM/VRAM。量化减小了权重张量的大小，从而实现：

• 在相同硬件上实现更快的推理。
• 部署到更便宜或边缘设备。
• 降低处理大量并发请求的成本。

主要功能

• 多种低比特方案 – 支持2比特、3比特、4比特、5比特、6比特、7比特的权重量化（WOQ）以及混合精度方案（AutoScheme）。还提供专门的dtype，如MXFP4、NVFP4、FP8和GGUF系列。
• 算法 – 内置SignRoundV1/V2、AWQ、GPTQ以及用于无校准量化的新NeUQI网格搜索的实现。用户可以将算法串联起来（例如，awq,signround）。
• 生态系统集成 – 与 🤗 Transformers、vLLM和SGLang直接兼容。量化模型可以导出到这些运行时使用的格式（auto_round、auto_awq、auto_gptq、GGUF等）。
• 硬件支持 – 在Intel CPU/XPU、NVIDIA GPU（CUDA）和Habana Gaudi HPU上运行。该软件包为每个平台提供单独的wheel。
• 快速且经济高效的调优 – 7B模型可以在单个GPU上约10分钟内完成量化；该库提供“light”、“best”和“opt-rtn”预设方案，可在速度和精度之间进行权衡。
• 视觉语言支持 – 支持超过10种VLM的开箱即用量化，并提供超越文本编码器的实验性全模型量化。

使用方法

1. 安装 – pip install auto-round（或nightly / HPU专用wheel）。
2. CLI – 运行 auto-round --model <repo>/<model> --scheme "W4A16" --format auto_round --output_dir ./qmodel。
   • 选择预设方案（auto-round-best、auto-round-light、auto-round-opt-rtn、auto-round-rtn）。
3. Python API –

   from auto_round import AutoRound
   ar = AutoRound("Qwen/Qwen3-0.6B", scheme="W4A16", iters=200)
   ar.quantize_and_save("./qmodel", format="auto_round")
   

   • 调整 bits、group_size、iters、lr、数据集等，以控制精度与速度的平衡。
4. 运行推理 – 使用vLLM、Transformers或支持导出格式的任何运行时加载量化后的检查点。

典型工作流程

• 选择一个模型和目标比特宽度（例如，4比特权重量化）。
• 使用默认的auto-round方案快速获得结果，或使用auto-round-best（更多调优迭代）获得最大精度。
• 如果需要混合精度，启用AutoScheme（--enable_alg_ext）让工具自动搜索每层的比特宽度计划。
• 导出到服务栈所需的格式（例如，用于llama.cpp的GGUF，用于基于AWQ的运行时auto_awq）。

受益者

• 想要在不编写自定义量化代码的情况下实验超低比特LLM的研究人员。
• 在成本受限的服务器或边缘设备上部署LLM的工程师。
• 任何需要与流行的🤗 Transformers/vLLM生态系统集成的即用型量化步骤的人。

---

资源

• 文档和教程 – docs/step_by_step.md中的逐步指南以及中文版step_by_step_CN.md。
• 基准测试 – 2-3比特模型的精度表、GGUF排行榜和MoE加速说明。
• 论文链接 – SignRoundV1（arXiv 2309.05516）和SignRoundV2（arXiv 2512.04746）。
• 模型动物园 – HuggingFace上Intel组织下托管的预量化检查点。

总结 – AutoRound是一个生产就绪的开源工具包，使大型语言模型和视觉语言模型的训练后量化在各种硬件上变得实用，同时保留了原始模型的大部分性能。