ZLKong/Awesome-Collection-Token-Reduction
A collection of token reduction (token pruning, merging, clustering, etc.) techniques for ML/AI
解决的问题
令牌缩减(剪枝、合并、聚类、压缩、自适应思考)是一组减少机器学习和生成式AI模型处理的令牌数量的技术,使模型在不牺牲质量的情况下更快、更高效。本项目精选了这一快速发展领域的最新学术成果,使研究人员和工程师能够轻松找到相关论文并跟踪新进展。
工作原理
该仓库是一个人工维护的论文集合,按发表年份和应用领域(视觉、语言、多模态、智能体系统、硬件协同设计、状态空间模型)组织。每个条目包含论文链接,并在可用时提供开源代码链接。配套的Google Sheet提供了每篇论文的任务、令牌缩减类型、贡献和方法论的结构化摘要。项目还发布了一篇立场论文(arXiv:2505.18227),主张令牌缩减应超越效率提升,并概述了未来研究方向。欢迎通过issue和pull request贡献内容。
适用对象
本资源面向从事或关注视觉、语言和多模态模型中令牌效率的AI研究人员、研究生和从业者。对于希望在自身项目中应用令牌缩减技术并需要快速了解最新技术现状的任何人,本资源也很有用。
亮点
- 涵盖跨多种模态和应用场景的令牌剪枝、合并、聚类、压缩和自适应思考。
- 按年份(2024–2026)和领域组织,便于快速浏览近期进展。
- 包含一篇立场论文,将令牌缩减定位为不仅仅是加速的更广泛工具,并提出了未来方向。
- 提供许多开源实现的链接,支持动手实验。
- 积极维护,频繁更新(例如,2026年新增了智能体系统部分),并开放邀请社区贡献。
相关
- 项目
- 项目
- 项目
- 项目