nick7nlp/Awesome-LLM-On-Policy-Distillation

解决的问题

研究人员和从业者常常难以驾驭大语言模型（LLM）在线策略蒸馏这一快速增长的领域——这是一种训练技术，学生模型使用自身生成的文本从教师模型学习。本项目将362篇相关论文（其中134篇附带代码）组织成结构化、可搜索的集合，包含简洁摘要、主题分组和引导式阅读路径，使查找合适的论文、理解关键创新以及识别实现代码变得更加容易。

工作原理

该项目作为综述《大语言模型在线策略蒸馏综述》（可在arXiv上获取）的阅读伴侣。它将论文按主题分组，如“目标与更新规则”、“监督来自何处？”以及“多个智能体如何学习”。每个条目包含一句话要点、发表日期、类别标签（例如，直接OPD、混合OPD），以及论文和代码的链接（如有）。该伴侣提供多种入口：您可以浏览所有条目，展开主题直接阅读摘要，或跟随引导式阅读路径从基础论文到高级变体。交互式网站（OPDHub）还支持跨集合的搜索和筛选。

适用人群

面向从事模型蒸馏、对齐或后训练的LLM研究人员、研究生和工程师。对于希望快速调研最新技术、比较不同蒸馏目标设计或为自己的实验寻找可复用代码的人来说尤其有用。阅读路径还帮助新手从核心论文开始，再深入小众变体。

亮点

• 收录362篇论文，其中134篇附带代码，更新至2026年10月13日
• 论文按主题组织，每篇附有简洁的一句话摘要
• 引导式阅读路径回答特定问题，例如“学生如何学习？”或“什么被迁移，什么没有？”
• 每个条目链接到arXiv论文，许多包含直接代码链接
• 通过伴侣网站OPDHub提供全文搜索和筛选