leggedrobotics/pace-sim2real

PACE: A systematic approach for sim-to-real transfer of legged robots, identifying actuator and joint dynamics with standard joint encoders.

해결하는 문제

PACE는 '시뮬레이션에서 실제 세계로의 격차'를 해결합니다. 즉, 로봇이 물리적 시뮬레이터에서 작동하는 방식과 실제 세계에서 작동하는 방식 사이의 차이를 말합니다. 이 격차는 특히 액추에이터와 조인트의 다이내믹스가 복잡한 다리 달린 로봇의 경우, 시뮬레이션에서 학습한 컨트롤러가 실제 하드웨어에서 효과적으로 작동하지 못하게 만듭니다.

작동 방식

이 프레임워크는 데이터 기반 접근법을 사용하여 시뮬레이션과 현실을 일치시킵니다. 실제 로봇에서 측정한 데이터를 수집하고, 공분산 행렬 적응 진화 전략(CMA-ES)을 사용하여 물리적으로 의미 있는 다이내믹스 파라미터를 최적화하고 적합화합니다. 이 데이터에서 직접 액추에이터 및 조인트 다이내믹스를 추정함으로써, 더 정확한 시뮬레이션 모델을 생성하여 견고한 보행 학습에 활용할 수 있습니다.

대상 사용자

NVIDIA Isaac Lab을 시뮬레이션에 사용하고, 학습된 동작을 실제 하드웨어로 전이하고자 하는 다리 달린 로봇 시스템을 다루는 로봇 연구자 및 엔지니어를 위한 것입니다.

주요 특징

  • 데이터 기반 동정: 실제 세계의 측정 데이터에서 직접 액추에이터 및 조인트 다이내믹스를 추정.
  • 진화적 최적화: 정밀한 파라미터 적합을 위해 CMA-ES를 활용.
  • Isaac Lab 통합: NVIDIA Isaac Lab의 태스크 및 환경 규약과 원활하게 통합.
  • 플랫폼 독립성: 다양한 로봇 플랫폼과 다양한 액추에이터 유형을 지원.

관련

  • 프로젝트
    isaac-sim/IsaacLab

    강화 학습, 모방 학습 및 모션 계획에서 로봇 공학 연구를 간소화하기 위해 NVIDIA Isaac Sim 기반으로 구축된 GPU 가속 오픈소스 프레임워크입니다.

  • 프로젝트
    fan-ziqi/rl_sar

    4족, 바퀴형, 히ュ먼로이드 로봇을 위한 강화학습 정책의 시뮬레이션 검증 및 물리적 배포를 위한 프레임워크입니다.

  • Dispatch
    시뮬레이션에서 실제 세계로의 전이: 깊은 역동역학 모델 학습을 통한 – OpenAI 2016

    OpenAI 연구원들은 깊은 역동역학 모델을 학습하여 시뮬레이션된 다음 상태를 적절한 실제 세계 행동에 매핑함으로써 시뮬레이션에서 학습된 제어 정책을 실제 로봇으로 전이하는 방법을 제시했으며, 정확한 동역학 모델이 필요 없이 시뮬레이션-실제 세계 간 격차를 줄였다.

  • 프로젝트
    ACEsuit/mace

    MACE는 등변 그래프 신경망 원자간 포텐셜을 위한 오픈소스 PyTorch 라이브러리입니다. 빠른 학습/평가, 멀티 GPU 및 Apple-Silicon 지원, 선택적 CUDA 가속, 재료 및 유기 화학용 사전 학습된 기초 모델 카탈로그를 제공합니다. `pip install mace-torch`로 설치하고, `mace_run_train` CLI(또는 YAML 설정)로 학습, `mace_eval_configs`로 평가할 수 있습니다. 문서, Colab 튜토리얼, Weights & Biases 통합이 포함되어 있습니다. v0.3 라인은 안정적이며, 대규모 v1.0 리팩터링이 진행 중입니다.

  • 프로젝트
    nvidia-isaac/WBC-AGILE

    NVIDIA Isaac Lab 기반의 강화학습 프레임워크로, 검증된 시뮬레이션-실물 전이 능력을 갖춘 사람형 로봇의 로코매니퓰레이션 정책을 훈련한다.