MINT-SJTU/Evo-1
Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment
解决的问题
Evo-1 是一款专为机器人操作设计的轻量级视觉-语言-动作 (VLA) 模型。它解决了创建高效模型的挑战,这些模型能将视觉与文本指令转换为精确的机器人动作,同时保持语义对齐,使其能够在各种模拟基准与真实世界机器人本体中运行。
运作方式
Evo-1 采用两阶段训练范式来学习机器人控制。在第一阶段,它训练集成模块与动作专家。在第二阶段,它进行全规模训练,包含 VLM (视觉-语言模型) 与动作头。它支持流匹配动作头,并集成至 LeRobot 框架以进行数据处理与部署。该模型通过服务器-客户端架构运作,由客户端发送观测数据 (图像、机器人状态与提示),服务器则返回动作块。
适用对象
本项目适用于需要轻量级 VLA 模型以实现具身智能的机器人研究人员与开发者,特别是那些使用如 Meta-World、LIBERO 与 RoboTwin 等模拟环境,或部署至如 xArm6、SO100/SO101 与 Jetson Orin 等真实硬件的开发者。
亮点
- 广泛的基准支持:已在 Meta-World、LIBERO、LIBERO-plus 与 RoboTwin (50 项双臂任务) 上完成验证。
- 轻量级架构:专为效率设计,设有专用的
evo1-flash分支,可加快训练速度并减少 GPU 内存使用量。 - 框架集成:完全集成至 Hugging Face LeRobot 框架,并由 RLinf 框架支持 SFT 与 GRPO 微调。
- 跨本体部署:提供适用于各种硬件的推理脚本,包含 xArm6 与 Jetson Orin Docker 支持。
相关
- 项目
- 项目
- 项目
- 项目