FBddcz/embodied-jev

해결하는 문제

EmbodiedJev(행지)는 구현 AI를 실험하기 위한 브라우저 기반 워크벤치를 제공합니다. 사용자는 물리적 로봇이나 복잡한 설정 없이 AI 모델이 로봇 작업(예: 파지, 쌓기, 장애물 회피)에 대해 어떻게 의사 결정을 내리는지 시각화할 수 있습니다. 고수준 모델 추론과 저수준 물리 실행 사이의 격차를 해소합니다.

작동 방식

이 프로젝트는 MuJoCo 물리 엔진을 사용하여 Franka Panda 로봇 팔을 시뮬레이션합니다. 사용자는 다양한 AI 모델(MiniCPM5-2B와 같은 로컬 모델 또는 Claude 및 OpenAI 호환 서비스와 같은 클라우드 API)을 시뮬레이션에 연결할 수 있습니다. 시스템은 루프를 따릅니다: 모델은 상태(구조화된 데이터 또는 RGB 카메라 입력)를 관찰하고, 동작(이동 단계 또는 스킬 등)을 선택하며, 물리 엔진이 이를 실행하여 다음 의사 결정 주기에 피드백을 제공합니다. 동일한 조건에서 서로 다른 모델의 나란히 비교를 지원합니다.

대상 사용자

이 프로젝트는 LLM 및 비전-언어 모델이 물리적 의사 결정 작업에서 어떻게 수행되는지 테스트하는 데 관심이 있는 AI 연구자, 로봇 공학 애호가 및 개발자를 대상으로 합니다. 로봇 공학 경험이 전혀 없는 사람도 접근할 수 있도록 설계되었으며, 고급 사용자가 맞춤형 실험과 벤치마크를 수행할 수 있는 충분한 깊이를 제공합니다.

주요 기능

• 실시간 시각화: 단계 선택, XYZ 이동, 그리퍼 동작을 포함한 로봇의 의사 결정 과정을 확인합니다.
• 모델 비종속: 로컬 모델(MiniCPM) 및 다양한 클라우드 API(OpenAI, Anthropic, TypeSafe Jev)를 지원합니다.
• 비교 분석: 동일한 작업과 시드에서 여러 모델을 동시에 실행하여 성능, 지연 시간 및 비용을 비교합니다.
• 물리 기반 피드백: MuJoCo를 사용하여 파지, 충돌 감지, 객체 조작 등 현실적인 상호 작용을 구현합니다.
• 확장 가능: 사용자가 사용자 정의 작업을 정의하고, 실험 데이터를 가져오거나 내보내고, 카메라 구성을 조정할 수 있습니다.