PopuLoRA：通过协同进化自我博弈突破 LLM 推理的局部最优

在大型语言模型（LLMs）中追求高级推理时，常常会遇到被称为人类专业知识局部最优的天花板。当模型仅在人工生成的数据上或通过单代理自我博弈进行训练时，它们往往会自我校准——本质上只学习解决已经会的题目，而不是推动自身能力的边界。

PopuLoRA 引入了一种旨在打破此循环的新框架。通过从单代理方法转向基于人口的非对称自我博弈系统，PopuLoRA 创建了一个协同进化的“军备竞赛”，迫使模型探索更复杂的问题空间，并在数学和编码基准上实现更高的推理性能。

PopuLoRA 的架构

PopuLoRA 的核心是一个基于人口的非对称自我博弈框架，用于可验证奖励的强化学习（RLVR）。不同于传统的强化学习训练中单模型与自身对抗，PopuLoRA 使用了一群基于共享、冻结的基础模型构建的专用 LoRA（低秩适配）适配器。

教师与学生

该框架将人口划分为两个主要角色：

  • 教师： 这些适配器负责提出问题。
  • 学生： 这些适配器尝试解决教师提出的问题。

这些角色是非对称的。程序化验证器确保问题可解且学生的答案正确。此处的关键创新是对子群之间进行交叉评估。这取代了单代理自我博弈中常见的标准自我校准——模型通常会生成它能够可靠解决的简单问题以最大化奖励。

权重空间进化

为了维持人口，PopuLoRA 使用了一系列 LoRA 权重空间进化算子。这些算子执行突变和交叉——借鉴自进化算法的概念——在数秒内生成相同秩的新人口成员。这样，系统能够快速迭代并进化适配器的权重，而无需进行耗时的完整模型再训练。

推动协同进化的军备竞赛

在单代理基线中，模型常常陷入一个陷阱：它生成简单问题，解决后获得奖励。这会形成一个反馈回路，使模型停留在平庸的性能水平。

PopuLoRA 通过营造协同进化的环境打破了这一局面。随着学生在解决问题上变得更强，教师被激励去生成日益复杂且具有挑战性的问题来检验他们。这形成了如下动态：

  1. 教师生成更复杂的问题。
  2. 学生的解题率随新挑战的出现而波动。
  3. 整个训练过程中，问题空间的覆盖持续扩展。

性能与基准测试

PopuLoRA 基于 7B 规模的 Absolute Zero Reasoner 实例化。与计算资源相匹配的单代理基线相比，结果截然不同。尽管训练期间的奖励较低（因为问题更难），但人口平均水平在众多基准上显著超越基线：

  • 编码： HumanEval+、MBPP+ 和 LiveCodeBench。
  • 数学： AIME 24/25、AMC 23、MATH-500、Minerva、GSM8K 和 OlympiadBench。

值得注意的是，研究人员发现，即使是进化人口中最弱的成员，整体上也能超越单代理基线，展示了基于人口方法的鲁棒性。

批判性视角与技术争论

PopuLoRA 的推出引发了关于其术语和实现的技术讨论。一些批评者质疑该框架是否严格遵循进化算法的正式语言。

对于声称是进化算法的方法，它缺少该领域的所有正式语言。根本没有提到适应度函数……或选择算子。

对此，作者澄清 LoRA 权重空间算子在基于人口的训练循环中充当替代步骤。通过使用 RLVR 和程序化验证器，系统实际上实现了基于生成和解决可验证问题能力的选择过程。

此外，关于人口组合效率的讨论仍在进行中。一些观察者质疑 1 教师/1 学生（1T-1S）配置是否在某些任务上能够超越更大的群体（例如 4T-8S），这将挑战更大人口组合是改进主要驱动因素的前提。然而，核心论点仍然是，由人口提供的协同进化压力——而非单一代理——才是防止模型陷入“简单问题”陷阱的关键。

Sources