OpenAI 与 Google Brain：AI 安全的具体问题

来自 OpenAI、Google Brain、伯克利和斯坦福的研究人员共同撰写了一篇题为《AI 安全的具体问题》的论文，指出了现代机器学习系统必须改进的五个关键技术领域，以确保其按预期运行。该框架提供了一套具体的研究问题，将 AI 安全从理论关注转向经验性的技术挑战。

强化学习中的安全探索

强化学习（RL）代理必须能够在不执行灾难性行为的情况下了解其环境。主要挑战在于让代理能够探索周围环境以收集数据并进行学习过程，而不冒永久或不可逆损害的风险。例如，一个负责在环境中导航的 RL 代理必须学会在不掉落悬崖的情况下完成任务。

对分布转移的鲁棒性

机器学习系统必须对数据分布的变化保持鲁棒性，或至少能够优雅地失败。关键目标是防止系统在遇到与训练集不同的数据时做出自信但错误的预测。例如，构建图像分类器时，需要它们在面对新类型图像时能够给出适当的不确定性，而不是自信地应用不适用的已学习模型。

避免负面副作用

AI 系统应能够实现目标而不对环境产生不良影响。目标是改造 RL 代理的奖励函数，使其避免有害行为，而无需开发者为每一种可能的负面结果手动编写单独的惩罚。例如，搬运物体的机器人应能够避免碰倒或损坏物品，而不需要预先列出所有可能易碎的对象。

防止奖励黑客和自我奖励

必须防止 AI 代理“玩弄”其奖励函数，以不符合实际目标的方式最大化奖励。这包括避免代理扭曲自身观察以获得高奖励分数的行为。举例来说，一个被训练来最小化建筑物中脏表面的 RL 代理；安全系统必须避免不去寻找污垢或制造新污垢仅为提升奖励的行为。

可扩展的监督

可扩展的监督旨在解决在人类反馈昂贵或稀缺的情况下提供目标反馈的问题。挑战在于确保代理实现满足用户真实偏好的目标，即使训练依赖于这些目标的廉价近似。当这些廉价近似（例如可见污垢的存在）与用户真正关心的内容之间出现显著差异时，就会产生事故风险。