OpenAI RL-Teacher 发布

OpenAI 已发布 RL-Teacher，这是一个开源实现，旨在通过偶尔的人类反馈来训练 AI 代理。这种方法取代了手工制作奖励函数的需求，这对于奖励难以指定的强化学习问题特别有用，并且是开发安全 AI 系统的一步。

RL-Teacher 的核心组件

RL-Teacher 提供了一个由三个主要组件组成的模块化系统：

• 奖励预测器：一个可插拔的组件，用于学习预测哪些动作由代理执行会得到人类的批准。
• 示例代理：一个通过奖励预测器指定的函数进行学习的代理。该发布包含三个预集成的算法，包括 OpenAI Baselines PPO。
• Web-App：一个允许人类提供训练奖励预测器所需反馈的用户界面。

技术实现与使用

RL-Teacher 系统非常轻量，由少于 1,000 行 Python 代码组成（不包括代理）。

要启动实验，用户可以设置一个网页服务器并运行以下命令：

python rl_teacher/teach.py -p human --pretrain_labels 175 -e Reacher-v1 -n human-175

人类可以通过一个简单的网页界面提供反馈，该界面可以在本地或单独的机器上运行。完整的文档可在项目的 GitHub 仓库中获取。