dkozlov/awesome-knowledge-distillation

Awesome Knowledge Distillation

它解决了什么问题

知识蒸馏是一种将大型复杂模型(教师模型)的“智能”或学习到的模式转移到更小、更高效模型(学生模型)中的技术。这使得开发者能够创建更快速、更轻量的紧凑模型,从而使其适合在计算能力有限的设备上部署,同时保留原始模型的大部分性能。

它是如何工作的

在此过程中,首先在数据集上训练一个大型模型。训练完成后,其输出(通常包含关于模型如何关联不同类别的微妙的“暗知识”)被用来指导较小模型的训练。学生模型学习模仿教师模型的行为,有效地将教师的知识压缩到更精简的架构中。

适用人群

此合集面向那些希望为生产环境、移动设备或资源受限的硬件优化深度学习模型的机器学习研究人员和工程师。

亮点

  • 一份全面、精选的关于知识蒸馏的学术论文列表。
  • 涵盖了追溯至1990年的基础研究。
  • 包含对抗训练、多任务学习和模型压缩等高级主题。
  • 特色应用涵盖计算机视觉、自然语言处理(BERT)和语音合成。

相关

  • 项目
  • 项目
  • 项目
  • 项目