InternRobotics/InternVLA-M1

해결하는 문제

InternVLA-M1은 복잡한 시각적 장면을 이해하고 정밀한 동작을 실행할 수 있는 범용 로봇 정책을 생성하는 과제를 해결합니다. 고수준의 시각-언어 이해와 저수준의 로봇 제어 사이의 간극을 메우는 것을 목표로 하며, 다양한 데이터셋에서 쉽게 확장하고 학습할 수 있는 프레임워크를 제공합니다.

작동 원리

이 프레임워크는 공간 유도형 시각-언어-동작 (VLA) 접근 방식을 활용합니다. 언어 헤드와 동작 헤드를 통합 시스템 내에 결합하여 학습 중 이중 감독을 가능하게 합니다. 대규모 멀티모달 사전 학습 (Qwen2.5-VL 등)을 활용하고 공간 프롬프트 미세 조정을 적용함으로써, 시각적 및 공간적 사전 지식을 로봇 작업으로 전이시켜 별도의 동작 사전 학습 없이도 빠른 수렴을 가능하게 합니다.

대상 사용자

• 로봇 제어를 위해 오픈 소스 시각-언어 모델 (VLM)을 사용하려는 개발자.
• 멀티모달 시각-언어 데이터와 함께 동작 데이터셋을 공동 학습하는 팀.
• VLA 아키텍처 및 학습 전략을 연구하는 연구자.

주요 특징

• 듀얼 시스템 아키텍처: 언어 헤드와 동작 헤드를 결합하여 협력 학습을 수행합니다.
• 모듈식 설계: 모델 아키텍처, 학습 데이터, 평가 파이프라인을 분리하여 디버깅과 확장이 용이합니다.
• 하드웨어 유연성: NVIDIA CUDA, Intel GPU (XPU) 및 CPU를 지원합니다.
• 고성능: WindowX, Google Robot, LIBERO와 같은 벤치마크에서 SOTA 수준의 수렴 속도와 강력한 결과를 보여줍니다.