HuangOwen/Awesome-LLM-Compression

解决的问题

大型语言模型（LLM）通常规模庞大，导致运行缓慢且训练成本高昂。本项目提供了一个精选的研究和工具集合，旨在使这些模型更小、更快、更高效，同时不过多牺牲性能。

工作原理

它作为一个全面、有组织的学术论文和软件工具仓库。内容按技术分类——如量化、剪枝、蒸馏和KV缓存压缩——并进一步按年份排序。用户可以浏览这些类别，找到加速模型训练和推理的最新最先进方法。

适用人群

本项目面向研究人员、机器学习工程师和开发者，他们需要优化LLM以部署在资源受限的硬件上，减少生产环境中的延迟，或降低训练的计算成本。

亮点

• 广泛的研究库：访问数百篇涵盖综述、量化、剪枝、蒸馏和高效提示的论文。
• 工具目录：推理引擎、量化库和模型压缩工具包的分类列表。
• 按时间顺序组织：论文按年份分组，带有可折叠部分，确保最新进展易于查找。
• 实用导向：包含许多所列技术的代码仓库、GitHub页面和模型检查点的链接。