ZhiChengAIR/Chengling-PWM

解决的问题

Chengling 是一个为机器人设计的物理世界模型（PWM），旨在让机器人学习物理世界的行为规律。它使机器人能够基于原始感官输入（视觉和本体感觉）和语言提示，在真实世界中执行动作之前，预测其行为的后果，并在脑海中模拟可能的结果。

工作原理

Chengling 使用能量基础的 Transformer（EBT）架构。它通过冻结的视觉编码器处理多视角 RGB 观测数据，并通过 Transformer 解码器将这些数据与动作历史和语言提示融合。

与单次生成动作不同，它使用能量函数来评估候选动作轨迹的物理一致性。在推理阶段，采用 Langevin Dynamics MCMC——一种迭代采样过程——沿着能量梯度逐步优化动作，使其趋向于能量更低、更符合物理规律的轨迹。StateMapper 组件将不同机器人实体映射到统一的 128 维潜在动作空间中，使得一个模型可以控制多种机器人。

适用人群

本项目适用于致力于构建体化人工智能世界模型的机器人研究人员和开发者，特别是那些在寻找扩散模型之外行动生成替代方案的人。

主要亮点

• 能量基础建模：直接衡量世界一致性，而非建模边缘分布。
• 心理模拟：使用基于梯度的迭代优化（Langevin Dynamics）来想象并改进轨迹。
• 灵活推理：推理时可动态调整优化步数，无需重新训练即可在速度与质量之间权衡。
• 多实体支持：统一的潜在动作空间使模型能够跨不同机器人硬件配置进行推理。