liruiw/GenSim

Generating Robotic Simulation Tasks via Large Language Models

解决的问题

GenSim 解决了手动创建多样化且复杂的机器人仿真任务的困难。它自动生成功能环境和专家目标,使研究人员能够扩大可用于训练和基准测试多任务机器人策略的任务多样性。

工作原理

该项目使用大型语言模型(LLM)代码生成管道——特别是 GPT-4 和微调后的 Code-LLaMA——来编写仿真环境的实际代码。它采用多种提示策略来引导 LLM,包括自底向上的模板生成、自顶向下的任务生成以及任务条件的思维链生成。这些生成的任务随后被集成到 CliPort 框架中,用于训练和评估机器人智能体。

适用人群

专为从事多任务策略训练和具身智能研究的机器人研究人员和 AI 工程师设计,他们需要大量多样化的仿真数据来训练更鲁棒的智能体。

主要亮点

  • 自动化任务创建:使用 LLM 自动编写仿真代码并定义专家目标。
  • 多样化提示:支持多种生成模式,如自顶向下和思维链,以创建不同类型的任务。
  • 模型灵活性:兼容 GPT-4,并支持对 Code-LLaMA 进行微调,以实现特定任务生成。
  • 策略基准测试:包含超过 100 个生成的任务,可作为多任务策略训练的基准。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目