LeCAR-Lab/BFM-Zero

해결 과제

BFM-Zero는 휴머노이드 로봇을 위한 범용적이고 프롬프트 가능한 제어 정책을 생성하는 문제를 해결합니다. 각 특정 작업마다 별도의 모델을 학습시키는 대신, 통합된 잠재 공간을 사용하여 모션 추적, 목표 도달, 보상 기반 작업 등 다양한 동작을 수행하도록 지시할 수 있는 파운데이션 모델을 제공합니다.

작동 원리

이 프로젝트는 비지도 강화학습을 사용하여 행동 파운데이션 모델을 학습시킵니다. 대규모 인간 모션 데이터셋을 처리함으로써, 모델은 복잡한 움직임을 압축된 잠재 표현 (z)으로 매핑하는 방법을 학습합니다. 추론 시 사용자가 다양한 프롬프트나 목표를 제공하면, 모델은 해당 잠재 벡터를 계산하여 Isaac Sim 또는 MuJoCo와 같은 시뮬레이터에서 휴머노이드의 움직임을 안내합니다. 생성된 정책은 배포를 위해 ONNX 파일로 내보낼 수 있습니다.

대상 사용자

이 프로젝트는 휴머노이드 이동성, 강화학습, 체화된 AI를 연구하는 로봇 공학 연구원 및 엔지니어를 대상으로 합니다. 작업별 재학습 없이 다양한 작업에 적응할 수 있는 범용 로봇 컨트롤러를 구축하려는 분들에게 특히 유용합니다.

주요 특징

• 프롬프트 가능한 제어: 잠재 공간 조작을 통해 단일 모델로 모션 추적 및 목표 도달과 같은 다양한 작업을 처리 가능.
• 비지도 학습: 대규모 모션 데이터를 활용하여 각 동작에 대해 수동으로 보상을 설계할 필요 없이 강력한 동작 프리미티브를 학습.
• 시뮬레이션 지원: 학습 및 평가를 위해 Isaac Sim 및 MuJoCo와 완벽하게 통합.
• 배포 준비 완료: 학습된 정책을 ONNX 형식으로 내보내는 스크립트가 포함되어 있어 플랫폼 간 호환성 제공.
• 모듈식 추론: 추적, 목표 도달, 보상 기반 작업 실행을 위한 전용 파이프라인 제공.