MinghaoFu/lewam

它解决的问题

LeWAM提供了一个端到端的世界和动作建模框架，专门设计用于帮助自主代理理解其环境并规划动作以达到特定目标或完成任务。

工作原理

它利用联合嵌入预测架构（JEPAs）来建模世界。系统支持两种主要模式：目标条件视觉规划，其中模型使用基于梯度的优化来规划一系列动作以达到目标状态；以及任务完成，使用行为克隆来执行特定任务。

适用对象

该项目面向从事机器人和自主代理研究的研究人员和开发者，他们需要一个稳健的框架来在模拟数据上训练和评估世界模型。

亮点

• 支持基于梯度的视觉规划和直接行为克隆。
• 包含针对各种任务（如Push-T、PointMaze和ToolHang）的预训练检查点和模拟数据集。
• 基于模块化配置文件构建，便于定制训练和评估。
• 兼容标准模拟环境，如MuJoCo。