OpenAI 教师-学生课程学习
OpenAI 已引入教师-学生课程学习（TSCL），这是一个旨在自动创建复杂任务训练课程的框架。通过利用“教师”算法动态为“学生”模型选择子任务，TSCL 使代理能够解决通过直接训练或均匀采样否则无法学习的问题。
TSCL 框架
教师-学生课程学习通过将复杂任务拆分为一组可用的子任务来运行。该框架由两个主要组成部分组成：
- 学生： 尝试学习复杂目标任务的模型。
- 教师： 一种算法，自动选择学生在任何给定时间应在给定集合中训练的子任务。
教师算法逻辑
TSCL 中的教师算法受两个主要直觉的指导以优化学习过程：
- 最大化进步： 教师优先考虑学生进步最快的子任务，这一点被识别为学习曲线斜率最高的点。
- 防止遗忘： 为了解决灾难性遗忘问题，教师还会选择学生表现主动下降的子任务。
实验结果和性能
OpenAI 在两个不同的任务上展示了 TSCL 的有效性：使用长短期记忆（LSTM）网络进行十进制数的加法以及在 Minecraft 中的导航。
Minecraft 导航
在 Minecraft 迷宫导航中，TSCL 相较于基线训练方法展示了显著优势：
- 解决无法解决的任务： 自动生成的课程使模型能够解决一个在直接训练最终目标时完全无法解决的 Minecraft 迷宫。
- 训练效率： 学习速度比使用子任务均匀采样快一个数量级。
十进制加法
在添加十进制数的任务中，TSCL 匹配或超越了精心手工制作的课程所取得的结果，证明了自动化系统可以取代手动课程设计的需求。
自动课程学习的意义
TSCL 表明，通过根据实时性能指标动态调整训练数据的难度和重点，自动课程学习可以优于手动设计。通过在快速进步的追求与先前学习技能的维持之间取得平衡，该框架为在复杂的多阶段任务上训练模型提供了一种可扩展的方法。