Linzwcs/EvoPolicyGym

解决的问题

EvoPolicyGym 解决了标准代码基准仅评估最终答案的局限性。它提供了一个框架，用于评估代码代理如何通过迭代实验、从反馈中学习，并在交互式环境中进化出可执行的策略（即政策），以解决复杂任务。

工作原理

该系统在代理、工作区和服务器之间形成一个循环。代理编辑程序（即策略），提交到一组剧集进行执行，并接收公开反馈。此过程受到固定“剧集预算”的限制，迫使代理在探索与确认之间战略性地分配其尝试次数。

代理完成任务后，主机执行私有最终选择，并在保留的剧集中评估策略，以衡量其真正的泛化能力。

适用对象

• AI 研究人员：专注于自主策略进化和基于反馈的强化学习。
• 代码代理开发者：希望测试其代理能否随时间改进策略，而不仅仅是编写单个函数。
• 基准测试作者：可使用提供的 API 将新的交互式环境集成到标准化评估协议中。

主要亮点

• 预算制实验：强制代理在有限的环境交互次数内寻找最优策略。
• 统一接口：将多种环境（如 NetHack、Balatro、Crafter、Gymnasium）纳入单一基准协议。
• 泛化能力测试：使用私有验证和评估集，确保策略不会仅对训练剧集过拟合。
• 代理集成支持：原生支持 CLI 类代理，如 Claude Code、Codex 和 Kimi Code。
• 丰富的环境目录：支持广泛领域，包括机器人（robosuite、MetaWorld）、经典控制（CartPole）以及复杂游戏（ARC Prize、NetHack）。