OpenAI 大模型演化（ELM）研究

OpenAI 推出大模型演化（ELM），這是一個利用大型語言模型（LLM）提升基因程式設計（GP）中突變算子效能的框架。透過使用 LLM 建議可能的程式碼修改，ELM 能在模型此前未曾接觸過的領域生成可運作的程式。

使用 LLM 改進基因程式設計

ELM 用大型語言模型驅動的突變取代了基因程式設計中傳統的隨機突變算子。由於 LLM 以包含程式碼變更與修改的龐大資料集進行訓練，它們能近似人類程式設計師會做的變更類型。這使得程式的演化能比隨機搜尋更有效率地朝向功能性解決方案前進。

案例研究：Sodarace 領域

為了展示 ELM 能力的廣度，OpenAI 研究人員將此框架應用於 Sodarace 領域。結果包括：

• 生成可運作程式： ELM 結合 MAP-Elites 演算法，產生了數十萬個可運作的 Python 程式。
• 預訓練中的新穎性： 這些程式在原始 LLM 在預訓練階段從未接觸過的領域中，產生了可運作的行走機器人。
• 啟動新模型： 產生的可運作範例被用來啟動新條件語言模型的訓練。此新模型能根據上下文為特定地形輸出正確的「行走者」（機器人配置）。

對 AI 研究的影響

在零初始訓練資料的領域中啟動新模型的能力對多個 AI 研究領域具有重大意涵：

• 開放性（Open-endedness）： ELM 提供了一種在無需標記資料集的環境中發現新且可運作人工製品的機制。
• 深度學習： 此框架展示了生成模型如何被用來製造高品質的合成資料，以訓練後續模型。
• 強化學習： 使用演化搜尋找出成功行為，並將這些行為蒸餾成神經網路的過程，暗示了處理複雜獎勵函數與探索的新方法。