向可信自治迈进：护栏与数据飞轮
向可信自治迈进：护栏与数据飞轮
通过护栏和数据飞轮实现可信自治
机器人系统正从受控环境中高度编排、重复的动作，转向大规模的真实世界部署。虽然学习算法和端到端 AI 架构的进步使机器人能够处理复杂的传感模态和通用操作，但它们仍然容易出现不可预测的失效。可信自治需要超越构建“完美”模型的目标，转而构建能够认识自身局限、在危险中安全恢复，并且能够通过部署经验进行诊断和改进的系统。
用“快思考与慢思考”应对语义异常
传统的分布外（OOD）检测通常侧重于物理安全，例如障碍规避或视觉新颖性。然而，许多真实世界的失效是“语义异常”——普通物体出现在不寻常的情境中导致系统级混乱。例子包括自动驾驶汽车因看到穿着印有停标的 T 恤的人而停车，或机器人把塑料餐具放进烤箱而不是抽屉。
为缓解这些异常，提出了一种两阶段决策框架，利用大语言模型（LLM）的常识推理，同时保持敏捷机器人所需的实时性。
两阶段推理流水线
- 快速推理器（异常检测）： 为避免自回归 token 生成的延迟，系统使用基于嵌入的相似度查询。维护一个来自机器人先前经验的语义嵌入向量数据库。运行时，将当前观测转换为嵌入；若与数据库差异显著，则标记为异常。小模型（如 MPNet 或 BERT，约 1 亿参数）可以在 NVIDIA Jetson 上以高频率（最高 40Hz）完成此任务，且准确率高。
- 慢速推理器（安全干预）： 检测到异常后，系统查询更大的 LLM，对情境的安全关键性进行推理并决定适当的干预措施。这种“思路链”推理计算成本高，但对评估下游后果是必需的。
与控制和规划的集成
为确保在 LLM 推理延迟期间的安全，系统使用模型预测控制器（MPC），维护一棵“恢复集”树（状态空间的控制不变子集）。这些恢复集——例如在保持区悬停或在场地着陆——作为多选项提供给 LLM。MPC 确保回退轨迹在 LLM 响应时间的上界内重叠，保证一旦决策返回，所选干预仍具动态可行性。
通过数据归因实现系统化的策略改进
随着机器人技术向单体、端到端 AI 模型发展，调试变得困难，因为没有显式的控制逻辑可供调整。失效往往源于训练数据——例如示教者的技能水平参差不齐、脆弱的策略或虚假关联（如机器人将特定背景与所需动作关联）。
Cupid 算法与影响函数
为系统化改进这些“黑箱”模型，采用一种称为 Cupid 的以数据为中心的方法，将训练数据与部署性能因果关联。这通过影响函数理论实现，计算策略性能对特定训练样本的包含或排除的一阶敏感度。
由于机器人涉及顺序决策和未知环境动力学，标准机器学习影响函数（仅归因单个预测）不足。所提方法利用策略梯度技巧，将性能影响分解为训练数据对策略动作对数似然的影响之和，从而得到可处理的求和形式。
数据飞轮效应
通过估计每个训练样本的性能影响，开发者可以构建一个“数据飞轮”：
- 训练：通过行为克隆训练策略。
- 评估：通过闭环 rollout 评估策略。
- 策划：移除低质量样本或添加对成功率有正向影响的高价值样本。
实验结果表明，该过程使策略的成功率从 40% 提升至 90%，且使用的训练样本减少了三分之二，有效根除人类设计的启发式方法（如测量轨迹噪声）常漏掉的虚假关联。
关键要点总结
- 运行时监控胜于完美模型： 与其尝试构建永不失效的模型，不如实现能够检测异常并执行安全干预的运行时监控。
- 语义安全 vs. 物理安全： 语义异常需要常识推理（LLM），而非单纯的视觉新颖性检测。
- 以数据为中心的调试： 端到端策略的性能受训练数据质量和组成驱动。影响函数等工具能够自动、因果地识别阻碍性能的“坏”数据。
摘要 Rohan Sinha 解释了如何通过结合用于语义异常检测的快速运行时监控和用于系统化策略改进的数据中心“飞轮”，来构建可信的机器人系统。
标题 向可信自治迈进：护栏与数据飞轮