ZhiChengAIR/Chengling-PWM

解決的問題

Chengling 是為機器人設計的物理世界模型（PWM），旨在讓機器人學習物理世界如何運作。它使機器人能夠根據原始感測輸入（視覺與本體感覺）和語言提示，在真實世界中執行動作之前，預測其行為的後果，並在腦中模擬可能的結果。

工作原理

Chengling 使用能量基礎的 Transformer（EBT）架構。它透過凍結的視覺編碼器處理多角度 RGB 觀測資料，並透過 Transformer 解碼器將這些資料與動作歷程和語言提示融合。

與單次生成動作不同，它使用能量函數來評估候選動作軌跡的物理一致性。在推論階段，採用 Langevin Dynamics MCMC——一種迭代採樣過程——沿著能量梯度逐步優化動作，使其趨向於能量更低、更符合物理規律的軌跡。StateMapper 組件將不同機器人實體映射到統一的 128 維潛在動作空間中，使一個模型可控制多種機器人。

適用對象

本專案適用於致力於建構體化人工智慧世界模型的機器人研究人員與開發者，特別是尋找擴散模型之外行動生成替代方案的人。

主要亮點

• 能量基礎建模：直接衡量世界一致性，而非建模邊際分佈。
• 心理模擬：使用基於梯度的迭代優化（Langevin Dynamics）來想像並改善軌跡。
• 靈活推論：推論時可動態調整優化步數，無需重新訓練即可在速度與品質之間權衡。
• 多實體支援：統一的潛在動作空間使模型能跨不同機器人硬體配置進行推論。