datawhalechina/every-embodied
仅需Python基础,从0构建自己的具身智能机器人;从0逐步构建VLA/OpenVLA/SmolVLA/Pi0, 深入理解具身智能
它解决了什么问题
Every-Embodied 是一个全面的学习库,旨在降低进入具身人工智能(Embodied AI)领域的门槛。它弥合了理论机器人学与实际实现之间的差距,提供了一条从基础模拟到复现最先进(SOTA)模型的「从零到英雄」路径,使仅具备基础 Python 知识的人也能轻松入门。
它如何工作
该项目将学习过程分为三个逐步进阶的阶段:
- 基础:聚焦机器人学基础、硬件选择以及 ROS(机器人操作系统),帮助用户搭建第一个仿真机器人。
- 中级:涵盖计算机视觉、运动规划和强化学习,实现「识别-规划-抓取」闭环任务。
- 高级:探索模仿学习、视觉-语言-动作(VLA)模型、视觉-语言导航(VLN)以及 Sim2Real 部署,复现前沿项目如 OpenVLA 和 SmolVLA。
它提供了多种基于 MuJoCo 和 Isaac Sim 等模拟器的动手示例,并提供硬件集成指南(例如 LeRobot 与 RDK-X5 开发板的结合)。
适合谁
- Python 初学者和转型开发者,希望进入 AI + 机器人领域。
- 学生和研究人员,希望快速掌握课程项目或论文复现所需的实践技能。
- 算法工程师,希望将视觉、强化学习或大语言模型能力迁移到物理交互场景中。
- 硬件与机器人爱好者,对从控制到 Sim2Real 部署的完整流程感兴趣。
特色亮点
- 实践优先方法:强调「先运行,看到结果,再理解原理」的工作流,减少挫败感。
- 广泛的 SOTA 覆盖:包含前沿 VLA 模型、世界模型(如 GE-Sim 2.0、tau0-WM)以及人形机器人强化学习的指南。
- 硬件集成支持:提供真实机器人操作教程,包括遥操作和在特定开发板上的部署。
- AMD ROCm 支持:包含专门的教程,用于在 AMD 硬件上复现策略。
- 多样化的模拟工具:集成多种环境,包括 MuJoCo、Isaac Sim 以及用于软体物理的专用模拟器。
相关
- Dispatch
- 项目
- 项目
- 项目
- 项目