로보틱스를 위한 Gemini 4 Argon: Google DeepMind의 물리 추론 모델, ERQA에서 87% 달성

Google DeepMind가 Gemini 4 Argon을 발표했습니다. 이는 일반용 물리 추론 모델로, 연구소는 물리 이해, 코드 생성, 로보틱스를 위한 시각-의미론적 추론의 단계적 변화라고 설명합니다. 핵심 결과: 3D 환경에서 물리적, 공간적 문제를 이해하고 해결하는 모델의 능력을 테스트하는 ERQA(Embodied Reasoning) 벤치마크에서 Argon은 **순수 추론으로 87%**를 기록하여 다른 모든 최첨단 모델을 능가합니다.

DeepMind는 이번 출시를 물리적 AGI로 가는 가속기로 보고 있으며, Argon이 단일의 좁은 작업이 아닌 로봇 수명 주기 전반에 적용되는 대표적인 프롬프트를 제시합니다.

Gemini 4 Argon이란 무엇이며 어떤 벤치마크로 평가되었나

Gemini 4 Argon은 작업별 정책이 아닌 일반용 물리 추론 모델로 포지셔닝됩니다. DeepMind는 "코딩, 시각 인식, 물리 시뮬레이션, 실제 로봇 제어를 연결"하며 다중 뷰 비디오, 3D 기하학, 접촉 역학, 고유 수용 텔레메트리를 기본적으로 추론한다고 밝혔습니다.

모델의 기능 주장은 ERQA 벤치마크에 기반합니다. DeepMind는 ERQA가 3D 환경에서 물리적, 공간적 문제를 이해하고 해결하는 모델의 능력을 테스트한다고 설명합니다. Argon의 보고된 점수는 순수 추론으로 87%이며, DeepMind는 이는 다른 모든 최첨단 모델을 능가한다고 말합니다.

로봇 제어: 세 가지 시연된 워크플로우

Argon은 세 가지 별개의 제어 워크플로우로 시연됩니다: real-to-sim-to-real 모바일 조작, 제로샷 암 제어, 비디오 월드 모델의 폐루프 조향.

MuJoCo 연습을 통한 Spot 모바일 조작

Argon은 Boston Dynamics Spot 사족 보행 로봇(12-DoF 다리 + 6-DoF 암)을 제어하여 새로운 기술을 학습합니다: 풋 페달 쓰레기통을 밟아 콜라 캔을 버리기. Argon은 실제 페달을 밟고 열린 통에 캔을 떨어뜨리기 전에 동작을 연습하기 위해 풋 페달 통의 관절형 MuJoCo 디지털 트윈을 생성합니다.

프롬프트는 로봇에게 다이어트 콜라 캔 두 개를 집어 쓰레기통에 버리도록 지시하고, 내려딛기 전에 전면 카메라로 오른쪽 앞발 목표물이 페달 중앙에 있는지 확인하도록 요청합니다. 또한 놓기 전에 풋 페달 스텝과 손-통 정렬을 모두 확인하기 위한 "2-에이전트 검증 스웜(발 검증기 및 손 검증기)"을 지정합니다.

시각적 좌표 하네스를 사용한 제로샷 제어

Argon은 간단한 로봇 암을 제어하여 넘어진 머그컵을 세우고 그 안에 구겨진 냅킨을 넣습니다. 이 과정에서 시각적 좌표 하네스와 동작 프리미티브를 여러 턴에 걸쳐 추론합니다. 손목 카메라 이미지에는 2cm 세계 좌표 격자, 현재 3D 핀치 중심을 표시하는 청록색 십자선, 집게의 열림/닫힘 라인을 보여주는 청록색 브래킷, 물체의 장축 방향을 보여주는 녹색 선이 주석으로 표시됩니다.

프롬프트는 폐루프 턴 워크플로우를 정의합니다: HTTP 관찰 엔드포인트를 통해 상태 검사, 사전에 VLM 호출 세분성 선택(코스 24회 호출, 사전 그랩 호버 검증 47회 호출, 미세 시각 서보잉 8~20회 호출), 그런 다음 동작 프리미티브를 보내고 매 턴 후 시각적으로 검증합니다. 상태가 grasp_failed를 반환하면 모델은 robot.look_at(...)을 호출하여 재관찰하고 폐루프로 복구하도록 지시됩니다. 사용 가능한 프리미티브는 robot.grasp, robot.place_until_contact, robot.move_by, robot.move_until_contact와 같은 코드-정책 호출로 노출됩니다.

옴니 제어: 비디오 월드 모델 조향

Argon은 Gemini Omni World Model 내부의 로봇을 조종하여 흩어진 다섯 개의 스크래블 타일(G, R, A, N, O)을 A-R-G-O-N을 철자하는 깔끔한 줄로 재배열합니다. 단일 정적 프롬프트를 지정하는 대신 Argon은 폐루프 시각 루프에서 조종합니다: 타임스탬프가 있는 동작 프롬프트를 작성하고, 중간 롤아웃 키프레임을 검사하고, 프롬프트를 개선합니다. DeepMind는 이 데모를 33단계 조종 비디오 롤아웃으로 명명합니다.

조종 프롬프트는 복잡한 동작을 한 번에 하나의 단순한 단일 방향 동작으로 분해하고, 비활성 손은 접고, 물체가 이동한 후 비어 있는 작업 공간 영역을 명시적으로 언급하고, <omni_prompt> 태그로 묶인 [MM:SS.mmm] 타임스탬프를 사용하도록 요구합니다.

Real2Sim: Argon이 시뮬레이션 트윈을 구축하는 세 가지 방법

Argon은 실제 로봇 카메라 피드, 자기중심적 인간 비디오, 손으로 그린 스케치의 세 가지 다른 입력 소스에서 물리적으로 보정된 시뮬레이션 환경을 재구성합니다.

로봇 뷰에서 시뮬레이션으로

실제 로봔 텔레오퍼레이션 에피소드가 주어지면 Argon은 로봇과 재구성된 작업 객체의 MuJoCo 씬을 구축한 다음 두 가지 검증 목표에 대해 반복합니다: 시각적 일치(헤드_왼쪽, 왼쪽_손목 및 오른쪽_손목 카메라의 MuJoCo 렌더링이 실제 관찰과 일치하고 보임) 및 물리적 일치(각 Sharpa 손끝의 시뮬레이션 접촉 힘/토크가 로그된 촉각 힘과 타이밍, 크기 및 방향에서 일치).

프롬프트는 명시적인 안티-치팅 제약 조건을 부과합니다. 작업 객체는 mj_step을 통해 로봇 손 및 환경과의 실제 MuJoCo 접촉을 통해서만 이동할 수 있습니다. t = 0 이후에는 MjModel 매개변수를 변경하거나, 객체에 외부 힘이나 토크를 가하거나, 용접 또는 등식 제약 조건을 사용하거나, 관절 공간 PD를 넘어서는 피드포워드 토크를 적용하거나, 객체 qpos/qvel을 설정하거나 롤백하거나, 충돌을 비활성화 또는 제외하거나, MuJoCo 솔버에서 오지 않은 접촉 힘을 보고할 수 없습니다. 오프라인으로 계획된 로봇 명령은 실제 손끝이 객체 근처에 있는 프레임에서만 변경할 수 있으며, 각 명령은 기록된 텔레오프 궤적의 암 관절의 경우 0.55 rad, 손 관절의 경우 0.65 rad 이내로 유지되어야 합니다.

인간 뷰에서 시뮬레이션으로

조작 작업의 자기중심적 인간 비디오가 주어지면 Argon은 작업 관련 객체를 식별하고, 대략적인 경계 상자를 복합 볼록 분해 메시로 대체하여 오목한 용기가 물리적 내부 배치를 지원하도록 하고, 인간 손 궤적을 MuJoCo 접촉 물리에서 22-DoF 다섯 손가락 손을 가진 76-DoF 양팔 휴머노이드에 리타겟합니다.

프롬프트는 500Hz의 손재주 동작 피팅 스트레스 테스트를 지정합니다: 3D 인간 손목 및 손가락 키포인트를 휴머노이드의 7-DoF 팔과 22-DoF 손 관절에 리타겟하고, 제로 운동학적 용접 제약 조건으로 MuJoCo에서 **500Hz(dt = 0.002s)**로 궤적을 스텝하고, 반대 엄지와 손가락 힘 폐쇄, 2cm 이상의 깨끗한 객체 리프트, 안정적인 최종 배치를 검증합니다.

스케치에서 시뮬레이션으로

개발자는 종이에 펜으로 그린 대략적인 스케치(Apollo 2 휴머노이드가 포물선 호를 따라 공을 던져 테이블 위의 3-2-1 상자 더미를 쓰러뜨리는 모습)를 사진으로 찍어 Argon에게 제공할 수 있습니다. Argon은 GPU 가속 mujoco_warp 씬을 자동으로 구성하고, 균형 잡힌 76-DoF 전신 및 다섯 손가락 던지기 궤적을 합성하고, 폐루프 물리에서 6/6 대상 쓰러뜨리기를 검증하고, Blender 4.5 Cycles 렌더를 내보냅니다.

프롬프트는 2.80초 동안 140스텝의 50Hz 전신 던지기 궤적을 네 단계로 지정합니다: 안정적인 자세와 다섯 손가락 파워 그랩 폐쇄; 발목-엉덩이 질량 중심 보상을 포함한 몸통/어깨 윈드업; 앞으로 휘두르는 가속; 최고 손 속도에서 동기화된 22-DoF 다섯 손가락 열림. 검증은 휴머노이드가 3cm 미만의 골반 드리프트로 수직 균형을 유지하고 6개의 모든 대상 상자를 쓰러뜨려야 합니다.

물리적 이해: 라벨링, 퍼즐 해결, 가치 함수

Argon은 세 가지 물리적 이해 작업으로 시연됩니다: 에이전트 기반 다중 모달 사후 라벨링, 비전 전용 폐루프 퍼즐 솔버, 조밀한 가치 함수 추정.

사후 라벨링 및 데이터 품질 관리

136초 동안 정사각형 종이를 종이 여우로 접는 양팔 ALOHA 2 로봇의 상단 비디오가 주어지면 Argon은 시간 정렬된 4단계 사후 주석 계층을 생성합니다: 에피소드 목표(G1), 6개의 연속 의미론적 하위 작업(G2), 17개의 접촉 수준 원자 프리미티브(G3), 그리고 실수 및 재시도 중에 작업 진행을 평평하게 유지하는 자동 품질 관리 재가중치.

Argon은 멈춤, 불안정한 그랩, 실수와 같은 열악한 조작 세그먼트를 식별할 수 있습니다. 프롬프트는 모델이 진행되지 않는 미끄러짐 및 박리 재시도 루프 동안 task_progress_pct를 평평하게 유지하고 동작 복제를 위해 0.15x~0.25x로 가중치를 낮추도록 지시합니다.

이상한 공 찾기: 비전 전용 폐루프 솔버

로봇으로 고전적인 12볼 저울 퍼즐을 재현하기 위해 Argon은 시각적으로 동일한 12개의 당구공(표준 150g 11개, 270g 또는 30g 중 하나의 이상한 공 1개)과 팬이 수평을 유지하도록 평행사변형 등식 제약 조건(mjEQ_joint)이 있는 관절형 Roberval 양팔 저울을 갖춘 양팔 Franka FR3 MuJoCo 환경을 구축합니다.

그런 다음 Argon은 특권 작업 관찰을 비활성화하고 엄격히 스테레오 RGB 카메라 입력과 로봇 고유 수용에 의존하는 비전 전용 폐루프 솔버를 작성합니다. 솔버는 두 스테레오 뷰에서 공, 팬, 트레이를 분할하고, 3D 좌표를 삼각 측량하고, 스테레오 수직 픽셀 불일치(+1 = 왼쪽 더 무거움, -1 = 오른쪽 더 무거움, 0 = 균형)에서 저울 기울기를 시각적으로 읽고, 3회 계량 이내에 이상한 공을 무거운(빨간색) 또는 가벼운(파란색) 트레이로 분리합니다. 환경은 세 번의 계량 이내에 올바른 트레이에서 실제 이상한 공을 분리하면 1.00의 보상을 부여합니다.

가치 함수 추정

Argon은 로봇 작업을 위한 일반 가치 함수로 설명됩니다. 인간 UMI 데이터세트의 60초 양팔 링 정렬 에피소드에서 평가된 Argon은 접촉 전환 주변의 동기화된 헤드, 왼쪽 그리퍼 및 오른쪽 그리퍼 카메라 피드를 반복적으로 검사하여 조밀한 가치 함수 및 작업 진행 예측을 생성하고 궤적을 양수, 중립 및 음수 진행 기울기를 가진 28개 세그먼트로 분해합니다.

연구 및 자기 개선

Argon은 또한 훈련 데이터를 생성하고 자체 하드웨어 실행을 개선하는 것으로 시연됩니다.

시뮬레이션을 통한 동작 개선

실제 탁상의 단일 RGB 사진에서 시작하여 Argon은 보정된 MuJoCo 시뮬레이션 트윈을 자율적으로 구축하고, 새 작업을 정의하고, 시뮬레이션에서 4,500개 이상의 도메인 무작위화 에피소드를 수집하기 위한 폐루프 동작 생성기를 합성합니다. DeepMind는 이로 인해 실제 로봇 성공률이 **56%에서 75%**로 향상되고 완료 시간이 35초에서 24초로 단축된다고 보고합니다.

프롬프트는 병렬 죠 그리퍼와 4개의 RGB 카메라가 있는 두 개의 7-DoF Franka FR3 암이 있는 양팔 작업 공간을 다루며, 9개의 모든 파티 소품에 대한 절차적 3D 메시 및 복합 MuJoCo 충돌 프리미티브, 77개 작업 단일 암 및 양팔 커리큘럼, ±10cm 포즈 무작위화에 걸친 폐루프 IK 궤적 생성기를 요청합니다.

시각적 픽 앤 플레이스를 위한 자기 개선

간단한 6-DoF 암에서 Argon은 시행 및 자기 반성을 통해 픽 앤 플레이스 작업에서 실행 속도와 배치 정확도를 모두 반복적으로 자기 개선합니다. DeepMind는 세 번의 반복을 보고합니다: Iteration 1은 58.9초, Iteration 2는 22.9초(드롭 시 상자 가장자리에 스침), Iteration 3은 17.4초로 중앙에 떨어뜨림.

워크플로우는 단계적으로 진행됩니다: 1단계는 객체를 측정하고 하드웨어 동작 없이 드라이런 계획을 생성합니다; 2단계는 그리퍼를 대상물 위에 닿지 않게 배치하고 손목 카메라로 암과 비전이 일치하는지 확인합니다; 3단계는 자율적으로 실행하고, 자체 로그와 손목/상단 영상을 검토하여 실패를 자가 진단하고, 안전 한도 내에서 최소 2배 더 빠르게 최적화합니다.

MuJoCo WebAssembly에서의 원프롬프트 로보틱스 논문 재현

논문당 단일 프롬프트로 Argon은 로보틱스 제어 원고와 공개된 체크포인트를 읽고, 물리 모델과 폐루프 컨트롤러를 독립형 MuJoCo WebAssembly 브라우저 랩으로 포팅하고, 헤드리스 Chromium에서 검증합니다. DeepMind는 DeepLoco의 7-네트워크 계층적 보행, HUSKY의 50Hz PPO 액터, Whole-Body MPC의 Web Worker iLQR을 포함한 예를 인용합니다.

이 데모는 다섯 개의 획기적인 보행 및 휴머노이드 논문이 브라우저에서 실시간으로 실행되는 것을 보여줍니다: Robotic Soccer OP3 1v1, DeepLoco, Massively Parallel Deep RL ANYmal C, Whole-Body MPC Go2, HUSKY G1 Skateboarding — Argon이 재현한 68개의 대화형 브라우저 샌드박스에서 가져온 것입니다. 프롬프트는 MuJoCo XML에서 논문의 정확한 물리 타임스텝, 액추에이터 게인(kp/kv), 토크 한계 및 운동학적 제약 조건을 일치시키고, JavaScript에서 논문의 정확한 제어 속도로 실제 신경 추론 또는 Web Worker iLQR을 실행하고, 300개 이상의 프레임에서 콘솔 오류가 없고 작업 진행이 0이 아닌지 확인하는 헤드리스 Chromium(Playwright) 검증 루프를 실행해야 합니다.

DeepMind가 의미하는 바

DeepMind의 명시된 결론은 Argon이 "장면의 객체가 무엇인지 뿐만 아니라 전신 손재주 작업을 완료하기 위해 에이전트와 물리적으로 어떻게 상호작용하는지 이해"한다는 것입니다. 연구소는 Gemini 4 Argon을 물리적 AGI로 가는 길을 가속화하는 중요한 이정표라고 부르며, 인간과 함께 복잡한 문제를 해결할 수 있는 로보틱스를 가능하게 하는 것을 목표로 합니다.

가용성 및 액세스

Gemini 4 Argon은 발표 시점부터 Google의 개발자 플랫폼 전반에서 사용할 수 있습니다:

  • Google AI Studio: Google AI Ultra 구독자에게 제공됩니다.
  • Gemini API: AI Studio의 Gemini API 유료 티어에서 사용할 수 있습니다. 모델 식별자는 gemini-4-argon이며, Interactions API에서 google-genai SDK 전반에 걸쳐 첫날부터 지원됩니다.
  • Google Antigravity: Google AI Ultra 구독자에게 제공됩니다. 복잡한 계획, /goal 실행 및 다중 에이전트 오케스트레이션을 위해 활성 모델로 Gemini 4 Argon(gemini-4-argon)을 선택하십시오.

Sources