OpenAI Spinning Up in Deep RL 工作坊回顾
OpenAI 基于其 "Spinning Up in Deep RL" 资源包举办了一场工作坊，旨在为强化学习 (RL) 提供可扩展的指导和技术培训。该活动旨在弥补静态课程与提供专家指导之间的差距，从而帮助参与者培养深层强化学习 (deep RL) 研究级别的技能。
教育目标与方法论
OpenAI 的 AI 教育方法侧重于培养参与 AI 研究与开发所需的技能。基于以往 Scholars 和 Fellows 项目的经验，OpenAI 确定了技能发展的三个关键组成部分：
- 灵活的课程设置：核心材料与当前研究前沿回顾的结合。
- 专家指导：直接参与专家讨论并获得指导的机会。
- 合适的项目工作：让学生参与与其成长水平相匹配的项目。
虽然课程可以大规模分享，但工作坊形式被测试作为一种扩展指导和项目引导交付规模的方法。
工作坊内容与技术重点
工作坊结合了概念性讲座和动手实践的分组会议，旨在引导参与者从理论转向实现。
概念基础与研究
- RL 基础：Joshua Achiam 提供了强化学习概念基础和各种 RL 算法的概述。
- Sim2Real 迁移：Matthias Plappert 讨论了在模拟器中训练灵巧机器人手以操作现实世界物体，并强调了领域随机化 (domain randomization)、循环神经网络 (recurrent neural networks) 和大规模分布式训练在弥补 "sim2real" 差距方面的必要性。
- AI 安全性：Dario Amodei 详细阐述了指定代理行为的挑战，指出错误的激励机制可能导致强大的代理产生危险行为。他讨论了从人类偏好中学习奖励函数，作为避免手动设计奖励函数陷阱的一种解决方案。
实现与技能构建
- TensorFlow：Karl Cobbe 介绍了 TensorFlow 库，这是深度学习研究的主要工具。
- 算法实现：Daniel Ziegler 带领进行了一场关于实现 Deep Q-Network (DQN) 算法的分步会议。
- 研究前沿：Joshua Achiam 进行了关于当前 RL 研究前沿和进行 RL 研究的实际操作性的问答环节。
参与者背景与反馈
约 90 人亲临现场，近 300 人通过直播加入，参与者来自超过 500 名申请者的池中。参与者的背景非常多样化，包括软件工程、数据科学、ML 工程、学术界、医学和教育领域，经验水平从初学者到曾构建过自己的 Dota 机器人的人不等。
关键成功之处
参与者强调了获得一对一帮助和与专家进行 "paired programming" 的价值，并表示：
"我认为获得一对一帮助以及与真正懂行的人进行一些类似 'paired programming' 的时间是非常有帮助的。"
改进建议
反馈表明，为期一天的形式对于有意义的项目工作来说是不够的。参与者建议将工作坊延长至两天，并提供 "shovel-ready" 项目以帮助他们更有效地进入黑客松阶段。
多样性与包容性
OpenAI 强调创建一个支持性的环境，这反映在参与者关于活动性别平衡的反馈中。一位参与者指出，由于现场女性代表性很高，该活动明显更容易进行社交。