liruiw/GenSim

해결하는 문제

GenSim은 다양한 복잡한 로봇 시뮬레이션 작업을 수동으로 생성하는 어려움을 해결합니다. 시뮬레이션 환경과 전문가 목표를 자동으로 생성함으로써 연구자들이 다중 작업 로봇 정책의 훈련 및 벤치마킹에 사용할 수 있는 작업의 다양성을 확장할 수 있습니다.

작동 방식

이 프로젝트는 대규모 언어 모델(LLM) 코드 생성 파이프라인(GPT-4 및 파인튜닝된 Code-LLaMA)을 사용하여 시뮬레이션 환경의 실제 코드를 작성합니다. 하향식 템플릿 생성, 상향식 작업 생성, 작업 조건부 사고 체인 생성과 같은 여러 프롬프팅 전략을 활용하여 LLM을 안내합니다. 생성된 작업은 로봇 에이전트의 훈련 및 평가를 위해 CliPort 프레임워크에 통합됩니다.

대상 사용자

다중 작업 정책 훈련 및 몸을 가진 지능(embodied intelligence)에 종사하는 로봇 연구자 및 AI 엔지니어를 위한 것입니다. 더 강력한 에이전트를 훈련시키기 위해 대량의 다양한 시뮬레이션 데이터가 필요하기 때문에, 이 도구는 이러한 요구를 충족시킵니다.

주요 특징

• 자동 작업 생성: LLM을 사용하여 시뮬레이션 코드와 전문가 목표를 자동으로 생성.
• 다양한 프롬프팅: 상향식 및 사고 체인과 같은 다양한 생성 모드를 지원하여 다양한 유형의 작업을 생성.
• 모델 유연성: GPT-4와 호환되며, 특수한 작업 생성을 위한 Code-LLaMA의 파인튜닝도 지원.
• 정책 벤치마킹: 다중 작업 정책 훈련용 벤치마크로 사용할 수 있는 100개 이상의 생성된 작업 포함.