邁向可信自主：護欄與數據飛輪
邁向可信自主：護欄與數據飛輪
透過護欄與數據飛輪實現可信自主
機器人系統正從受控環境中高度編排、重複性的動作，轉向大規模的現實世界部署。雖然學習算法和端到端 AI 架構的進步使機器人能夠處理複雜的感測模態和通用型操作，但它們仍然容易發生不可預測的故障。可信自主需要超越建立「完美」模型的目標，轉而建立能夠了解自身局限性、能從危險中安全恢復，並能透過部署經驗進行診斷和改進的系統。
使用「快思考與慢思考」解決語義異常
傳統的分布外 (OOD) 檢測通常專注於物理安全（例如避障）或視覺新穎性。然而，許多現實世界的故障是「語義異常」——即在不尋常的語境中出現普通物體，導致系統層級的混亂。例如，自動駕駛汽車因為穿著印有停止標誌 T 恤的人而停下，或者機器人將塑膠餐具放入烤箱而不是抽屜中。
為了減輕這些異常，本文提出了一個兩階段決策框架，在保持敏捷機器人所需的反應能力的同時，利用大型語言模型 (LLMs) 的常識推理能力。
兩階段推理流水線
- 快速推理器 (異常檢測)： 為了避免自回歸 Token 生成的延遲，系統使用基於嵌入 (embedding) 的相似度查詢。系統會維護一個來自機器人先前經驗的語義嵌入向量數據庫。在運行時，當前的觀察結果會被轉換為嵌入；如果它與數據庫有顯著差異，則會被標記為異常。小型模型（例如
MPNet或BERT，約 100M 參數）可以高頻率（在NVIDIA Jetson上最高可達 40Hz）且高準確度地執行此任務。 - 慢速推理器 (安全干預)： 一旦檢測到異常，系統會查詢較大的 LLM 來推理該情況的安全關鍵性，並決定適當的干預措施。這種「思維鏈 (chain-of-thought)」推理在計算上是昂貴的，但對於評估下游後果是必要的。
與控制與規劃的整合
為了在 LLM 的推理延遲期間確保安全，系統利用模型預測控制 (MPC) 來維護一個「恢復集 (recovery sets)」樹（狀態空間的控制不變子集）。這些恢復集——例如在停泊區盤旋或在田野中降落——會作為多選題提供給 LLM。MPC 確保回退路徑在 LLM 的響應時間上限內有所重疊，從而保證一旦決策返回，所選的干預措施在動態上是可行的。
透過數據歸因實現系統化策略改進
隨著機器人技術向單體式、端到端 AI 模型發展，除錯變得更加困難，因為沒有明確的控制邏輯可以調整。故障通常源於訓練數據——例如人類演示者的技能水平參差不齊、脆弱的策略，或虛假相關性 (例如，機器人將特定的背景與所需的動作聯繫起來）。
Cupid 算法與影響函數
為了系統化地改進這些「黑盒」模型，本文使用了一種稱為 Cupid 的以數據為中心的做法，將訓練數據與部署性能進行因果關聯。這是透過影響函數 (influence functions) 理論實現的，該理論計算策略性能對包含或排除特定訓練樣本的首次導數敏感度。
由於機器人技術涉及序列決策和未知的環境動態，標準的 ML 影響函數（歸因於單個預測）是不夠的。所提出的方法應用了策略梯度技巧，將性能影響分解為訓練數據對策略動作對數似然 (action log-likelihood) 的影響之可處理總和。
數據飛輪效應
透過估計每個訓練樣本的性能影響，開發者可以建立一個「數據飛輪」：
- 訓練 策略，透過行為克隆 (behavior cloning)。
- 評估 策略，透過閉環滾動 (closed-loop rollouts)。
- 策劃 數據，透過移除低質量樣本或添加對成功率有正面影響的高價值樣本。
在實驗結果中，此過程使策略的成功率從 40% 提高到 90%，同時使用的訓練樣本減少了三分之二，有效地根除了人類設計的啟發式方法（例如測量軌跡噪聲）經常錯過的虛假相關性。
關鍵要點總結
- 運行時監控優於完美模型： 與其嘗試建立一個永不失敗的模型，務實的做法是實施運行時監控，以檢測異常並執行安全干預。
- 語義與物理安全： 語義異常需要常識推理 (LLMs) 而非簡單的視覺新穎性檢測。
- 以數據為中心進行除錯： 端到端策略的性能是由訓練數據的質量和組成所驅動的。諸如影響函數之類的工具可以實現對阻礙性能的「壞」數據的自動化、因果性識別。