TommyZihao/vlm_arm

해결하는 문제

이 프로젝트는 대규모 멀티모달 모델 (LMMs)을 물리적 로봇 팔과 통합하기 위한 프레임워크를 제공하여, 자연어 명령과 시각적 입력을 이해하고 복잡한 작업을 수행할 수 있도록 합니다.

작동 원리

이 시스템은 고수준 AI 추론과 저수준 하드웨어 제어 사이의 간극을 메우는 지능형 에이전트 역할을 합니다. Vision-Language Model (VLM)을 사용하여 시각 데이터와 사용자 지시를 처리하고, 대상 좌표를 식별하며, 필요한 물리적 움직임을 시퀀싱하고, 로봇 팔(특히 Elephant Robotics MyCobot 280 Pi)을 제어하기 위한 출력 형식을 지정합니다.

대상 사용자

구체화된 AI (Embodied AI) 및 로봇 공학에 관심이 있으며, GPT-4o, Yi-Vision, Qwen-VL과 같은 최첨단 AI 모델을 물리적 하드웨어에 연결하여 실험하고자 하는 개발자, 연구원 및 취미 활동가를 위해 설계되었습니다.

주요 특징

• GPT-4o, Claude 3 Opus, Qwen-VL-Max를 포함한 여러 고급 멀티모달 모델 지원.
• 시각적 및 언어적 단서를 로봇 동작 좌표로 변환하기 위한 명확한 파이프라인 제공.
• MyCobot 280 Pi 및 Raspberry Pi 4B와의 하드웨어 통합을 위한 문서 포함.
• 물체 조작 및 대화형 로봇 작업과 같은 실제 응용 사례 시연.