機器人領域的 Gemini 4 Argon:Google DeepMind 的物理推理模型在 ERQA 上獲得 87% 分數

Google DeepMind 發布了 Gemini 4 Argon,這是一個通用物理推理模型,該實驗室將其描述為物理理解、程式碼生成和機器人視覺語義推理的階段性變革。最引人注目的結果是:在 Embodied Reasoning (ERQA) 基準測試中——該測試評估模型在 3D 環境中理解和解決物理、空間問題的能力——Argon 使用純推理獲得了 87% 的分數,優於所有其他前沿模型。

DeepMind 將此次發布定位為邁向物理 AGI 的加速器,並展示了代表性的提示(prompts),顯示 Argon 應用於整個機器人生命週期,而非單一狹窄任務。

Gemini 4 Argon 是什麼以及其基準測試

Gemini 4 Argon 被定位為通用物理推理模型,而非特定任務的策略。DeepMind 表示,它「橋接了程式碼、視覺感知、物理模擬和具身機器人控制」,能夠原生地對多視角影片、3D 幾何、接觸力學和本體感覺遙測進行推理。

該模型的能力聲明基於 ERQA 基準,DeepMind 將其描述為測試模型在 3D 環境中理解和解決物理、空間問題的能力。Argon 的報告分數為使用純推理的 87%,DeepMind 表示這優於所有其他前沿模型。

機器人控制:三個示範工作流程

Argon 在三種不同的控制工作流程中進行了示範:真實到模擬到真實(real-to-sim-to-real)的移動操作、零樣本手臂控制,以及影片世界模型的閉迴路控制。

Spot 移動操作搭配 MuJoCo 練習

Argon 控制 Boston Dynamics Spot 四足機器人(12 自由度腿部加上 6 自由度手臂)學習一項新技能:踩下腳踏式垃圾桶以丟棄汽水罐。Argon 創建了腳踏式垃圾桶的鉸接式 MuJoCo 數位孿生,在踩下實體踏板並將罐子丟入開啟的垃圾桶之前,先練習其動作。

提示指示機器人撿起兩個健怡可樂罐並丟棄它們,並在踩下之前使用前置攝影機驗證右前腳目標是否位於踏板中央。它還指定了「2 代理驗證群(腳驗證器和手驗證器)」來驗證腳踏步驟和釋放前的手入桶 3D 對齊。

使用視覺座標輔助工具的零樣本控制

Argon 控制一個簡單的機械手臂,將一個倒下的馬克杯扶正並將一張皺巴巴的餐巾紙放入其中,在多次回合中透過視覺座標輔助工具和動作原語進行推理。手腕攝影機影像標有 2 公分世界座標網格、標記目前 3D 夾取中心的青色十字準線、顯示夾爪開合線的青色括號,以及顯示物體長軸方向的綠色線條。

提示定義了閉迴路回合工作流程:透過 HTTP 觀測端點檢查狀態,預先選擇 VLM 呼叫粒度(粗略 2–4 次呼叫、預抓取懸停驗證 4–7 次呼叫、或精細視覺伺服 8–20 次呼叫),然後在每個回合後發送運動原語並進行視覺驗證。如果狀態返回 grasp_failed,模型被指示呼叫 robot.look_at(...) 以重新觀察並閉迴路恢復。可用的原語以程式碼即策略(code-as-policies)呼叫的形式公開,例如 robot.grasp、robot.place_until_contact、robot.move_by 和 robot.move_until_contact。

全方位控制:引導影片世界模型

Argon 在 Gemini Omni World Model 內引導機器人,將五個散落的 Scrabble 字母牌(G, R, A, N, O)重新排列成整齊的一行,拼出 A-R-G-O-N。與其指定一個靜態提示,Argon 在閉迴路視覺迴圈中進行引導:它編寫帶時間戳記的動作提示,檢查中間的展開關鍵幀,並優化其提示。DeepMind 將此示範標記為 33 步引導的影片展開。

引導提示要求將複雜動作一次分解為一個簡單、單一方向的動作,保持非活動的手縮回,明確說明在物體移動後哪些工作區域變空,並使用包裹在 <omni_prompt> 標籤中的 [MM:SS.mmm] 時間戳記。

Real2Sim:Argon 建構模擬孿生的三種方式

Argon 從三種不同的輸入來源重建物理校準的模擬環境:真實機器人攝影機饋送、自我中心人類影片,以及手繪草圖。

機器人視圖到模擬

給定一段真實機器人遙操作片段,Argon 建構機器人及重建任務物體的 MuJoCo 場景,然後針對兩個驗證目標進行迭代:視覺匹配(來自 head_left、left_wrist 和 right_wrist 攝影機的 MuJoCo 渲染與真實觀測對齊且相似)和物理匹配(每個 Sharpa 指尖上的模擬接觸力/力矩在時間、大小和方向上與記錄的觸覺力匹配)。

提示施加了明確的反作弊限制。任務物體只能透過與機器人手和環境的真實 MuJoCo 接觸,經由 mj_step 移動。在 t = 0 之後,模型不得更改 MjModel 參數、對物體施加外力或力矩、使用焊接或等式約束、在關節空間 PD 之外施加前饋力矩、設定或回滾物體 qpos/qvel、停用或排除碰撞,或報告非來自 MuJoCo 求解器的接觸力。離線規劃的機器人指令只能在真實指尖靠近物體的幀中更改,且每個指令必須保持在記錄的遙操作軌跡的 手臂關節 0.55 弧度 和 手部關節 0.65 弧度 之內。

人類視圖到模擬

給定一段操作任務的自我中心人類影片,Argon 識別任務相關物體,將粗略的邊界框替換為複合凸分解網格,以便凹形容器支援物理內部放置,並將人類手部軌跡重新定位到 MuJoCo 接觸物理中的 76 自由度雙臂人形機器人,具有 22 自由度五指手 上。

提示指定了 500 Hz 的靈巧運動擬合壓力測試:將 3D 人類手腕和手指關鍵點重新定位到人形機器人的 7 自由度手臂和 22 自由度手部關節,在 500 Hz(dt = 0.002s) 下以零運動學焊接約束推進軌跡,並驗證對立的拇指和手指力閉合、乾淨的物體提升超過 2 公分,以及穩定的最終放置。

草圖到模擬

開發者可以拍攝一張粗略的紙筆草圖——顯示一個 Apollo 2 人形機器人沿拋物線弧線投擲一個球,以推倒桌上 3-2-1 堆疊的盒子——並讓 Argon 自動建構 GPU 加速的 mujoco_warp 場景,合成一個平衡的 76 自由度全身和五指投擲軌跡,在閉迴路物理中驗證 6/6 目標擊倒,並匯出 Blender 4.5 Cycles 渲染。

提示指定了 50 Hz 的全身投擲軌跡,在 2.80 秒內共 140 步,跨越四個階段:穩定站立和五指力量抓取閉合;軀幹/肩膀揮臂蓄力,伴隨腳踝-髖部質心補償;向前鞭打加速;以及在峰值手速時同步的 22 自由度五指張開。驗證要求人形機器人保持直立平衡,骨盆漂移小於 3 公分,並擊倒所有 6 個目標盒子。

物理理解:標記、解謎和價值函數

Argon 在三項物理理解任務上進行了示範:代理多模態事後標記、純視覺閉迴路解謎器,以及密集價值函數估計。

事後標記和資料品質控制

給定一段雙臂 ALOHA 2 機器人在 136 秒 內將一張方形紙摺成摺紙狐狸的俯視影片,Argon 產生一個時間對齊的 4 層級事後標註階層:情節目標(G1)、6 個連續的語義子任務(G2)、17 個接觸級別的原子原語(G3),以及自動化品質控制重新加權,在失誤和重試期間保持任務進展平坦。

Argon 可以識別不佳的操作片段,例如暫停、不穩定的抓取和失誤。提示指示模型在非進展的滑動和分層重試迴圈中保持 task_progress_pct 平坦,並對行為克隆(Behavior Cloning)將其降權 0.15 倍至 0.25 倍。

找出異球:純視覺閉迴路解謎器

為了用機器人重現經典的 12 球天平秤謎題,Argon 建構了一個雙臂 Franka FR3 MuJoCo 環境,其中有 12 個視覺上相同的撞球——11 個標準的 150 克球和一個 270 克或 30 克的異球——以及一個鉸接式 Roberval 雙盤天平秤,帶有平行四邊形等式約束(mjEQ_joint),以使盤保持水平。

然後,Argon 編寫一個純視覺閉迴路解謎器,嚴格依賴立體 RGB 攝影機輸入和機器人本體感覺,並停用特權任務觀測。解謎器在兩個立體視圖中分割球、盤和託盤,三角測量它們的 3D 座標,從立體垂直畫素差異視覺讀取天平秤傾斜(+1 = 左重,-1 = 右重,0 = 平衡),並在 3 次稱重 內將異球分離到重(紅色)或輕(藍色)託盤中。環境獎勵在三次稱重內將真正的異球隔離到正確託盤中獲得 1.00。

價值函數估計

Argon 被描述為機器人任務的通用價值函數。在來自人類 UMI 資料集的 60 秒雙臂套環排序片段 上進行評估,Argon 迭代檢查接觸轉換周圍的同步頭部、左夾持器和右夾持器攝影機饋送,以生成密集的價值函數和任務進展預測,將軌跡分解為 28 個片段,具有正、中性和負的進展斜率。

研究和自我改進

Argon 也示範了生成訓練資料和改進自身硬體執行。

透過模擬進行動作改進

從真實桌面的單張 RGB 照片開始,Argon 自主建構一個校準的 MuJoCo 模擬孿生,定義新任務,並合成一個閉迴路運動生成器,以在模擬中收集 4,500+ 個域隨機化片段。DeepMind 報告稱,這將真實世界實體機器人的成功率從 56% 提升到 75%,並將完成時間從 35 秒減少到 24 秒。

提示涵蓋一個雙臂工作空間,配有兩個 7 自由度 Franka FR3 手臂,帶平行夾爪和 4 個 RGB 攝影機,並要求為所有 9 個派對道具提供程式化 3D 網格和複合 MuJoCo 碰撞原語、一個 77 任務的單臂和雙臂課程,以及一個在 ±10 公分姿態隨機化下的閉迴路 IK 軌跡生成器。

視覺揀放的自動改進

在一個簡單的 6 自由度手臂上,Argon 透過試驗和自我反思,迭代地自我改進揀放任務的執行速度和放置精度。DeepMind 報告了三次迭代:迭代 1 為 58.9 秒,迭代 2 為 22.9 秒(在放下時擦過盒子邊緣),以及迭代 3 為 17.4 秒,且完美置中放下。

工作流程分階段進行:階段 1 測量物體並產生一次無硬體運動的預演計劃;階段 2 將夾具放置在目標上方而不觸碰它,並用腕部攝影機驗證手臂和視覺一致;階段 3 自主執行,透過審查自己的日誌和腕部/俯視影片來自診斷失敗,並在安全限制內優化到至少快 2 倍。

MuJoCo WebAssembly 中的單一提示機器人論文複現

每篇論文只需一個提示,Argon 讀取機器人控制手稿和任何發布的檢查點,將物理模型和閉迴路控制器移植到自包含的 MuJoCo WebAssembly 瀏覽器實驗室中,並在無頭 Chromium 中驗證它們。DeepMind 引用的範例包括 DeepLoco 中的 7 網路分層運動、HUSKY 中的 50 Hz PPO 行動器,以及 Whole-Body MPC 中的 Web Worker iLQR。

示範顯示五篇具有里程碑意義的腿式和類人機器人論文在瀏覽器中即時運行:Robotic Soccer OP3 1v1、DeepLoco、Massively Parallel Deep RL ANYmal C、Whole-Body MPC Go2 和 HUSKY G1 Skateboarding——這些來自 Argon 複現的 68 個互動式瀏覽器沙盒。提示要求在 MuJoCo XML 中匹配論文確切的物理時間步長、致動器增益(kp/kv)、力矩限制和運動學約束,在 JavaScript 中執行真實的神經推理或 Web Worker iLQR,並精確按照論文的控制速率運行,並運行無頭 Chromium(Playwright)驗證迴圈,斷言在 300+ 幀中零控制台錯誤和非零任務進展。

DeepMind 表示這意味著什麼

DeepMind 的結論是,Argon「不僅理解場景中的物體是什麼,還理解它們如何與代理物理互動以完成全身靈巧任務。」該實驗室稱 Gemini 4 Argon 是加速邁向物理 AGI 道路的重要里程碑,目標是實現能夠與人類並肩工作以解決複雜挑戰的機器人技術。

可用性和存取

Gemini 4 Argon 自發布之日起在 Google 的開發者平台上可用:

  • Google AI Studio: 可供 Google AI Ultra 訂閱者使用。
  • Gemini API: 可在 AI Studio 中透過 Gemini API 的付費層級使用。模型識別碼為 gemini-4-argon,在 Interactions API 中使用,並在 google-genai SDK 中提供首日支援。
  • Google Antigravity: 可供 Google AI Ultra 訂閱者使用。選擇 Gemini 4 Argon(gemini-4-argon)作為複雜規劃、/goal 執行和多代理編排的有效模型。

Sources