项目 Fetch:评估 Claude 对机器人任务表现的影响

摘要

Anthropic 开展了 "项目 Fetch",一项提升研究,旨在确定 Claude 是否能帮助非专家编程四足机器人来捡拾沙滩球。结果显示,拥有 AI 支持的团队在任务完成速度上显著更快,并且在实现完全自主方面取得了远超无 AI 访问权限团队的进展。

实验设计与方法论

Anthropic 研究人员将八名非机器人专家分为两组:"Team Claude"(拥有 AI 访问权限)和 "Team Claude-less"(无 AI 访问权限)。两组需完成机器人狗操作的三个难度逐步提升的阶段:

  • 第一阶段: 使用制造商提供的控制器,将球带回指定区域。
  • 第二阶段: 建立与机器人的计算机连接,访问机载传感器(视频和激光雷达),并开发自定义软件程序以完成捡拾任务。
  • 第三阶段: 开发程序,使机器人能够自主检测并捡起球。

关键发现:AI 在机器人领域的提升作用

性能与速度

Team Claude 在任务完成效率上展现出明显优势。对于两组均完成的任务,Team Claude 所用时间约为 Team Claude-less 的一半。尽管 Team Claude-less 完成了 8 项任务中的 6 项,Team Claude 则完成了 8 项中的 7 项。

技术优势

Claude 在硬件交互的初期阶段提供了最显著的提升:

  • 连接性: Team Claude 更高效地探索连接方法,避免被错误的在线文档误导;而 Team Claude-less 过早放弃了最简单的连接方式。
  • 传感器集成: Team Claude 更容易获取激光雷达传感器的数据,而 Team Claude-less 直到当天结束才解决该问题。
  • 程序质量: 尽管 Team Claude 编写控制程序耗时更长,但其生成的软件质量更高,提供了持续的视频流,而非 Team Claude-less 使用的间歇性静态图像。

权衡与“支线任务”

实验揭示了 AI 辅助可能导致工作流程的分化。Team Claude 编写的代码量约为 Team Claude-less 的九倍。虽然这使他们能够并行探索多种方法,但也导致了“支线任务”和对主要目标的分心。例如,一名成员开发了一个用于机器人的自然语言控制器,而该功能并非完成主要任务所必需。

对团队动态与士气的影响

情绪表达与困惑

对音频转录文本的定量分析显示,Team Claude-less 的困惑表达频率是 Team Claude 的两倍。他们的对话整体更消极,且报告称在无法使用常用 AI 工具的情况下,感觉自己的编程能力下降了。

协作模式

两组表现出截然不同的工作方式:

  • Team Claude: 成员主要与各自的 AI 助手合作,沿着平行路径推进目标。
  • Team Claude-less: 成员更深入地相互协商策略,提出的问题比 AI 支持团队多 44%。

局限性与未来意义

研究局限性

Anthropic 指出,本研究存在若干限制,包括样本量小(仅两组)、持续时间短(一天),以及使用了 Anthropic 员工这一便利样本,这些员工本身已熟悉 AI 技术。

通往自主的道路

Anthropic 认为,“提升往往先于自主”,即 AI 当前协助人类完成机器人任务的能力,是未来 AI 独立执行这些任务的前兆。这一能力被强调为 Anthropic 负责任扩展政策中的关键门槛,因为涉及硬件的自主 AI 研发可能引发 AI 能力的快速、不可预测的跃升。

Sources

相关