cheng-haha/GPT-Policy

해결하는 문제

GPT-Policy는 기울기 업데이트나 작업별 파라미터 변경 없이 로봇이 익숙하지 않은 환경과 작업에 적응할 수 있도록 하는 문제를 해결합니다. 배포 시점에 컨텍스트로부터 학습할 수 있게 하여, 유한한 데모 세트로는 모든 실제 세계 시나리오를 다룰 수 없는 한계를 극복합니다.

작동 방식

이 시스템은 고정된 비전-언어 모델(VLM)을 로봇 도구에 연결하는 폐루프 제어 프레임워크입니다. 세 가지 주요 구성 요소를 통해 작동합니다:

1. 컨텍스트 컴파일러: 작업 관련 시각적 전환을 보존하고 인간 비디오, 로봇 데모, 대상 이미지, 자체 이력 및 인간-로봇 상호작용에서 입력을 수집합니다.
2. VLM 에이전트: 컴파일된 컨텍스트와 실시간 관찰을 기반으로 구조화된 로봇 도구 동작을 제안합니다.
3. 제약 컨트롤러: 제안된 동작(예: 직교 좌표 대상 또는 경유점 시퀀스)을 검증하고 실행하며, 역기구학(IK) 검사를 수행하고 결과를 VLM에 보고하여 다음 결정 주기를 진행합니다.

대상 사용자

이 프로젝트는 대규모 비전-언어 모델을 사용하여 로봇 조작 작업에 인컨텍스트 학습을 구현하려는 임베디드 AI 및 로보틱스 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 인컨텍스트 학습: 모델을 재학습하지 않고 데모와 피드백을 사용하여 새로운 작업에 적응합니다.
• 다중 소스 컨텍스트: 인간 비디오, 동작 레이블이 있는 로봇 비디오, 대상 이미지 및 상호작용 이력을 지원합니다.
• 하드웨어 지원: ARX X5 및 I2RT/YAM 로봇 팔 플랫폼용 어댑터를 포함합니다.
• 폐루프 실행: 실시간 카메라 피드백과 실행 결과를 통합하여 로봇 동작을 반복적으로 개선합니다.

요약

VLM을 사용하여 데모와 피드백을 재학습 없이 실행 가능한 로봇 동작으로 변환함으로써 로봇이 인컨텍스트 학습을 수행할 수 있게 하는 폐루프 제어 프레임워크입니다.

제목

데모와 상호작용 피드백을 통한 인컨텍스트 로봇 학습을 위한 폐루프 VLM 프레임워크