EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications

这是什么

这是一个精选且持续更新的学术论文集合，关于模型合并——将两个或多个已训练AI模型（如LLM）的权重组合成一个更强或更多功能的模型，而无需原始训练数据或大量计算。

它伴随一篇特定的综述论文（发表于ACM Computing Surveys，2026年），旨在成为研究者和从业者的活资源。

包含什么

README将数百篇论文组织成清晰的结构：

• 综述论文——模型合并的概述。
• 基准与评估工具——数据集、库和实证比较（例如，MergeKit、FusionBench）。
• 高级方法——细分为合并前步骤（微调策略、权重对齐）、合并中技术（加权平均、子空间方法、路由）和理论分析。
• 应用——涵盖大型语言模型（LLM）、多模态LLM（MLLM）、图像/视频生成器，以及许多经典机器学习子领域（持续学习、联邦学习、对抗防御等）。

表格中的每个条目显示论文标题、年份、发表地点，并通常有一个备注列，列出实验中使用的模型（例如，Llama-3-8B、Mistral-7B）。项目还标记了使用规模≥7B模型的论文，如新闻部分所述。

如何使用

• 快速查找相关论文，通过浏览分类表格。
• 检查“备注”列，查看研究使用了哪些模型，有助于可复现性。
• 贡献——README明确邀请提交拉取请求以添加新论文、修正条目或建议更好的分类。

它本质上是一个结构化、可浏览的参考书目，适用于任何对模型合并感兴趣的人，从寻找关键论文的初学者到跟踪最新工作的专家。