ginwind/VLA-JEPA

解决的问题

VLA-JEPA 通过整合潜在世界模型，提升了视觉-语言-动作（VLA）模型的性能。这使机器人代理能够在潜在空间中更好地理解并预测其动作的结果，从而增强其在不同环境中执行复杂任务的能力。

工作原理

该项目结合了视觉-语言模型（VLM）与潜在世界模型编码器。具体使用 Qwen3-VL-2B 模型和 V-JEPA2 编码器。系统在机器人专用数据集（如 Droid、LIBERO 和 BridgeV2）与人类视频数据集（如 ssv2）的混合数据上进行训练，以学习可泛化的动作策略。支持预训练和后训练阶段，并可通过 LeRobot v2.1 格式适配自定义机器人数据集。

适用对象

本项目专为从事具身智能和 VLA 模型的机器人研究人员及 AI 工程师设计，旨在帮助他们利用世界模型改进机器人控制策略。

主要亮点

• 混合训练：支持在机器人专用动作数据和通用人类视频上进行训练。
• 广泛基准支持：包含 LIBERO、LIBERO-Plus 和 SimplerEnv 基准的评估脚本。
• 可定制化：可通过 LeRobot v2.1 格式集成用户自己的机器人数据集。
• 预训练组件：利用 Qwen3-VL 和 V-JEPA2 等最先进的组件。