candle-org/MindAct

MindSpore + 🤗Huggingface: Run any Transformers/Diffusers model on MindSpore with seamless compatibility and acceleration.

解决的问题

MindAct 提供了一个标准化且可复现的框架,用于训练和评估机器人桌面操作任务中的模仿学习策略。它消除了在使用不同数据集和模拟环境时,实验跟踪和评估协议不一致的问题。

工作原理

该工具包采用基于协议的架构与最小适配器接口,以集成 PyTorch、Hugging Face 的 LeRobot 数据集与策略,以及 LIBERO 模拟基准测试。它通过 YAML 配置和清单跟踪的数据溯源来管理实验,确保结果能够被复现。

适用人群

从事具身 AI 与机器人操作的研究人员和开发者,他们需要一种一致的方式来训练策略,并对照标准化基准测试进行验证。

亮点

  • 集成:原生支持 LeRobot 数据集/策略和 LIBERO 模拟。
  • 可复现性:使用 YAML 配置和清单跟踪来记录实验的数据溯源。
  • 类型安全:使用冻结数据类和运行时协议构建,以确保稳定性。
  • 灵活安装:可选的依赖项允许用户仅安装他们需要的组件(例如,仅 PyTorch 或仅 LIBERO)。
  • 产物管理:针对日志、检查点和结果实现了约定的目录结构。

相关

  • 项目
  • 项目
  • 项目
  • 项目