tylerlum/simtoolreal

해결하는 문제

SimToolReal은 기민한 도구 조작의 과제를 해결하며, 새로운 물체나 시나리오에 대해 재학습이 필요 없이 로봇이 다양한 도구를 다양한 작업에 사용할 수 있도록 합니다 (제로샷 조작). 이는 다양한 도구 카테고리와 인스턴스 간에 일반화할 수 있는 '오브젝트 중심' 정책을 개발하는 데 초점을 맞춥니다.

작동 방식

이 프로젝트는 강화학습(RL)을 사용하여 Isaac Sim 또는 Isaac Gym과 같은 시뮬레이션 환경에서 정책을 훈련합니다. PPO 및 SAPG와 같은 알고리즘을 활용하여 시뮬레이션(시뮬레이션-시뮬레이션)과 실제 세계(시뮬레이션-실제 세계) 모두에 배포 가능한 정책을 개발합니다. 실제 세계 배포를 위해, 도구의 자세를 추적하기 위한 인식 시스템(SAM + FoundationPose)과 로봇의 행동을 안내하는 목표 자세 노드와 통합됩니다.

대상 사용자

이 프로젝트는 기민한 조작, 시뮬레이션에서 실제 세계로의 전이, 일반화 가능한 로봇 정책에 종사하는 로봇 공학 연구자 및 엔지니어를 대상으로 합니다.

주요 특징

• DexToolBench: 망치, 마커, 지우개, 브러시, 스패츌라, 스크류드라이버의 6가지 도구 카테고리를 포함하며, 다양한 물체와 작업을 커버하는 전용 벤치마크입니다.
• 제로샷 기능: 작업별 미세 조정 없이 도구 조작을 처리할 수 있는 정책을 목표로 합니다.
• 이중 시뮬레이션 지원: 최신 Isaac Sim(Isaac Lab 경유)과 기존 Isaac Gym 모두 호환됩니다.
• 통합 배포 파이프라인: 정책, 목표 자세, 인식, 로봇 노드로 구성된 다중 노드 시스템을 사용하여 시뮬레이션에서 실제 하드웨어로의 전이를 구조화된 방식으로 제공합니다.