OM1: 물리적 로봇 및 시뮬레이터 전반에 걸쳐 멀티모달 에이전트를 배포하기 위한 모듈형 AI 런타임

해결하는 문제

OM1은 멀티모달 AI 에이전트의 생성 및 배포를 단순화하기 위해 설계된 모듈형 AI 런타임입니다. 이는 고수준 AI 모델(LLMs 및 VLMs)과 물리적 하드웨어 사이의 간극을 메워, 개발자가 매번 다른 폼 팩터에 맞춰 핵심 파이프라인을 재구축할 필요 없이 디지털 환경, 시뮬레이터, 그리고 휴머노이드 및 사족보행 로봇과 같은 물리적 로봇 전반에 에이전트를 배포할 수 있도록 합니다.

작동 방식

OM1은 다양한 데이터 입력(웹 데이터, 카메라 피드, LIDAR)을 사전 구성된 AI 엔드포인트(OpenAI, Anthropic, Gemini 등)에 연결하고, 그 출력을 물리적 동작으로 변환하는 미들웨어 계층 역할을 합니다. 고성능 및 에지 디바이스에서의 낮은 지연 시간을 위해 Go로 작성된 모듈형 아키텍처를 사용합니다. 이 시스템은 ROS2, Zenoh, CycloneDDS와 같은 프로토콜을 통해 로봇 하드웨어 추상화 계층(HAL)과 인터페이스하여 로봇에 기본적인 이동 명령을 보낼 수 있습니다.

대상 사용자

주로 업그레이드와 재설정이 용이한 인간 중심의 로봇을 구축하고자 하는 로보틱스 개발자 및 AI 엔지니어들을 위한 것입니다. 또한 빠른 프로토타이핑을 위해 Gazebo 및 Isaac Sim과 같은 시뮬레이터를 사용하는 사용자들도 지원합니다.

주요 특징

• 멀티모달 지원: 시각, 오디오 및 텍스트 입력을 처리하고 음성 또는 물리적 동작을 통해 응답합니다.
• 광범위한 하드웨어 호환성: 다양한 로봇(Humanoids, Quadrupeds, TurtleBot 4) 및 시뮬레이터(Gazebo, Isaac Sim)를 지원합니다.
• 확장 가능한 플러그인 시스템: 개발자가 플러그인을 통해 새로운 하드웨어 연결 및 데이터 센서를 추가할 수 있도록 합니다.
• 관측 가능성: LLM 및 ASR 지연 시간과 같은 실시간 파이프라인 메트릭을 모니터링하기 위해 Prometheus 및 Grafana 스택이 내장되어 있습니다.
• 성능 중심: 에지 배포를 위해 더 작은 메모리 사용량과 더 낮은 지연 시간을 보장하기 위해 Go로 마이그레이션되었습니다.