Anthropic Project Fetch Phase Two

클로드 오퍼스 4.7, 로봇 제어에서 인간 팀을 능가

애너티픽의 Project Fetch Phase Two는 클로드 오퍼스 4.7이 인간 팀보다 훨씬 빠르게 로봇 프로그래밍 및 설정 작업을 자율적으로 완료할 수 있음을 보여줍니다. 일반적인 로봇 4족 보행기('로보독')를 사용한 비교 테스트에서, 모델은 모든 완료된 작업에서 가장 빠른 인간 팀보다 약 20배 빠르게 작동했으며, 인공지능이 인간 보조자 역할을 하던 시대에서 물리적 환경에서 자율적으로 운영되는 시대로의 전환을 보여줍니다.

실험 설계 및 방법론

Project Fetch Phase Two는 클로드 코드를 사용하여 클로드 오퍼스 4.7의 자율 능력을 평가했으며, 적응형 사고를 최대 노력 수준으로 설정했습니다. 실험은 이전 단계에서 인간이 수행했던 작업의 일부를 대상으로 하였으며, 다음과 같습니다:

• 로보독의 비디오 카메라에 연결하기.
• 로보독의 라이다 센서에 연결하기.
• 로보독을 수동으로 제어하는 프로그램 개발하기.
• 모래알 공을 감지하는 프로그램 작성하기.
• 로보독의 공간 내 경로 모니터링하기.

연구진은 초기 프롬프트 제공, 노트북 연결, 명령 및 작업 전환 승인에만 관여했습니다. 모델은 물리적 컨트롤러 사용 능력에 대해 평가되지 않았으며, 클로드 프로그래밍된 컨트롤러를 사용해 공을 회수하는 데 걸리는 시간도 측정되지 않았습니다.

주요 성능 기준

클로드 오퍼스 4.7은 이전 단계의 인간 팀에 비해 속도, 효율성, 신뢰성 면에서 큰 향상을 보였습니다.

속도와 효율성

모든 참가자가 수행한 네 가지 작업에 대해 오퍼스 4.7은 9분 35초 만에 완료했습니다. 반면 '팀 클로드'(클로드 오퍼스 4.1로 보조된 인간 팀)는 181분, '팀 클로드 없는 팀'(AI 보조 없이 인간만)은 361분이 소요되었습니다. 이는 오퍼스 4.7이 AI 보조 인간 팀보다 약 18.9배, 무보조 인간 팀보다 약 37.7배 빠른 것을 의미합니다.

코드 양

오퍼스 4.7은 목표를 달성하기 위해 훨씬 적은 코드를 생성했으며, 1,045줄의 코드를 작성한 반면 팀 클로드는 10,309줄을 작성했습니다. 이는 모델이 센서와의 인터페이스를 최적화하는 경로를 더 효과적으로 파악하고, 처음부터 기능적인 코드를 작성하는 데 더 뛰어났음을 시사합니다.

신뢰성

세 번의 시험에서 성능 시간은 비교적 일관되게 유지되었지만, 모델이 때때로 최적화되지 않거나 오래된 객체 감지 알고리즘을 선택하면서 약간의 변동이 발생했습니다.

물리적 제어의 현재 한계

프로그램 설정에서는 성공했지만, 클로드 오퍼스 4.7은 고정밀 물리적 상호작용, 특히 프로젝트의 '회수(fetching)' 부분에서 어려움을 겪었습니다. 모델은 실시간으로 오류를 인지하고 입력을 조정할 수 있는 폐루프 피드백 시스템이 필요한, 모래알 공을 시작 기준 위치로 정확히 밀어내는 작업을 수행하지 못했습니다.

애너티픽은 인간은 연습을 통해 이 기술을 익힐 수 있지만, 모델의 시도는 제어가 불량하고 실패했다고 지적합니다. 그러나 연구실에서는 로봇 공학 경험을 가진 연구원이 자율 회수 프로그래밍을 성공적으로 수행한 사례를 관찰했으며, 더 많은 지원 체계가 제공된다면 현재의 클로드 모델도 결국 이를 달성할 수 있을 것이라고 제안합니다.

물리적 에이전트형 AI에 대한 함의

애너티픽은 이러한 결과가 로봇 기술 향상을 위한 특별한 노력이 아니라 일반적인 규모 확장의 산물이라고 결론지었습니다. 이러한 발견은 '물리적 에이전트형 AI'로의 추세를 시사하며, 모델이 일반적인 물리적 도구를 상대적으로 쉽게 활용할 수 있게 될 것임을 의미합니다.

이 발전은 AI 코딩의 진화와 유사합니다. 모델들은 문자열 교체 보조에서 시작해 소프트웨어 도구를 독자적으로 관리하는 수준으로 진화했습니다. 애너티픽은 하드웨어 분야에서도 동일한 추세가 발생하고 있을 것이라 추정하며, 모델이 인간에게 도움을 주는 단계에서 인간이 모델에게 도움을 주는 단계로, 결국 모델이 자율적으로 운영되는 단계로 진화할 것이라고 제안합니다.