OpenAI 大模型进化（ELM）研究

OpenAI 推出了大模型进化（ELM），这是一个利用大型语言模型（LLM）提升遗传编程（GP）中变异算子效果的框架。通过使用 LLM 提出可能的代码修改，ELM 能够在模型此前没有任何训练数据的领域生成功能性程序。

使用 LLM 改进遗传编程

ELM 用大型语言模型驱动的变异取代了遗传编程中传统的随机变异算子。由于 LLM 在包含顺序代码更改和修改的大规模数据集上进行训练，它们能够近似人类程序员会进行的更改类型。这使得程序的进化能够比随机搜索更高效地朝向功能性解决方案发展。

案例研究：Sodarace 领域

为了展示 ELM 能力的广度，OpenAI 研究人员将该框架应用于 Sodarace 领域。结果包括：

• 功能程序的生成： ELM 与 MAP-Elites 算法相结合，生成了数十万条功能性 Python 程序。
• 预训练中的新颖性： 这些程序在原始 LLM 在预训练阶段从未接触过的领域中输出了可工作的行走机器人。
• 新模型的引导训练： 生成的功能示例被用于引导训练一个新的条件语言模型。该新模型能够根据上下文为特定地形输出正确的“walker”（机器人配置）。

对 AI 研究的意义

在零初始训练数据的领域中引导新模型的能力对多个 AI 研究领域具有重要意义：

• 开放性（Open-endedness）： ELM 提供了一种在无需标注数据集的环境中发现新功能性人工制品的机制。
• 深度学习： 该框架展示了生成模型如何用于创建高质量的合成数据，以训练后续模型。
• 强化学习： 使用进化搜索寻找成功行为并将这些行为蒸馏到神经网络的过程，提出了应对复杂奖励函数和探索的新方法。