Project Fetch: Evaluating Claude's Impact on Robotics Task Performance

TL;DR

Anthropicは、非専門家が四足歩行ロボットをプログラミングしてビーチボールを回収させる際、Claudeが役立つかどうかを判断するための向上策調査「Project Fetch」を実施しました。その結果、AIを活用したチームは、AIを利用できないチームと比較して、タスクを大幅に早く完了し、完全な自律性に向けて実質的に大きな進展を遂げることが示されました。

Experiment Design and Methodology

Anthropicの研究者は、ロボット工学の専門家ではない8名の参加者を、「Team Claude」（AIアクセスあり）と「Team Claude-less」（AIアクセスなし）の2つのグループに分けました。各チームには、難易度が段階的に上がる3つのフェーズのロボット犬の操作タスクが課されました。

Phase One: メーカー提供のコントローラーを使用して、ボールを特定のエリアに持ち帰る。
Phase Two: ロボットへのコンピュータ接続を確立し、搭載されたセンサー（videoとlidar）にアクセスし、回収のためのカスタムソフトウェアプログラムを開発する。
Phase Three: ロボットが自律的にボールを検出し、回収するためのプログラムを開発する。

Key Findings: AI Uplift in Robotics

Performance and Speed

Team Claudeは、タスクの完了と効率性において明確な優位性を示しました。両方のチームが完了したタスクについては、Team Claudeは約半分の時間で成功しました。Team Claude-lessが8つのタスクのうち6つを完了したのに対し、Team Claudeは7つのタスクを完了しました。

Technical Advantages

Claudeは、ハードウェアとの初期のやり取りにおいて最も顕著な向上をもたらしました。

Connectivity: Team Claudeは接続方法の探索においてより効率的であり、誤ったオンラインドキュメントに惑わされることを避けました。一方、Team Claude-lessは最も簡単な接続方法を早々に放棄してしまいました。
Sensor Integration: Team Claudeはlidarセンサーからのデータへのアクセスをより容易に行いましたが、Team Claude-lessは一日の終わりまでそのタスクに苦戦しました。
Program Quality: Team Claudeは制御プログラムの記述に時間がかかりましたが、完成したソフトウェアはより優れたものであり、Team Claude-lessが使用した断続的な静止画ではなく、ストリーミングビデオフィードを提供しました。

Trade-offs and "Side Quests"

実験の結果、AIの支援はワークフローの分岐を招く可能性があることが明らかになりました。Team Claudeは、Team Claude-lessよりも約9倍多くのコードを記述しました。これにより、複数のアプローチを並行して探索することが可能になりましたが、同時に「サイドクエスト」や本来の目的からの逸脱も引き起こしました。例えば、あるメンバーは、主要なタスクには不要な、ロボット用の自然言語コントローラーを開発してしまいました。

Impact on Team Dynamics and Morale

Emotional Expression and Confusion

音声の書き起こしを定量的に分析した結果、Team Claude-lessはTeam Claudeの2倍の速さで混乱を表現していました。彼らの対話は一般的に否定的であり、普段使い慣れているAIツールへのアクセスがないことで、コーディングスキルが低下したように感じると報告していました。

Collaboration Styles

2つのチームは、異なる作業パターンを示しました。

Team Claude: メンバーは主に個々のAIアシスタントと連携し、目標に向かって並行した経路を追求しました。
Team Claude-less: メンバーは互いに深く戦略を練り、AIを活用したチームよりも44%多く質問を投げかけました。

Limitations and Future Implications

Study Limitations

Anthropicは、本研究のいくつかの制約約、すなわち、サンプルサイズが小さい（2つのチーム）、期間が短い（1日）、およびAIに精通しているAnthropicの従業員という便宜的なサンプルを使用していることを指摘しています。

The Path to Autonomy

Anthropicは、「向上策はしばしば自律性への前兆である」と主張しており、今日のロボット工学におけるAIによる人間の支援能力は、将来的にAIがこれらのタスクを独立して実行する能力の前兆であることを示唆しています。この能力は、AnthropicのResponsible Scaling Policyにおける重要な閾値として強調されています。ハードウェアを伴う自律的なAI R&Dは、AI能力の急速かつ予測不可能な進歩につながる可能性があるためです。