OpenMind/OM1
Modular AI HAL (Hardware Abstraction Layer) for Robots
What it solves
OM1은 멀티모달 AI 에이전트의 생성 및 배포를 단순화하도록 설계된 모듈형 AI 런타임입니다. 고수준 AI 모델(LLM 및 VLM)과 물리 하드웨어 사이의 격차를 메워 개발자가 디지털 환경, 시뮬레이터 및 휴머노이드, 사족보행 로봇과 같은 물리 로봇에 에이전트를 배포할 수 있게 하며, 각 형태에 맞게 핵심 파이프라인을 재구축할 필요가 없습니다.
How it works
OM1은 미들웨어 레이어로서 다양한 데이터 입력(웹 데이터, 카메라 피드, LIDAR)을 사전 구성된 AI 엔드포인트(OpenAI, Anthropic, Gemini 등)와 연결하고, 그 출력을 물리적 행동으로 변환합니다. Go로 작성된 모듈식 아키텍처를 사용해 엣지 디바이스에서 높은 성능과 낮은 지연 시간을 제공합니다. 시스템은 ROS2, Zenoh, CycloneDDS와 같은 프로토콜을 통해 로봇 하드웨어 추상화 레이어(HAL)와 인터페이스하여 로봇에 기본 이동 명령을 전송합니다.
Who it’s for
주로 인간 중심 로봇을 쉽게 업그레이드하고 재구성하고자 하는 로봇 개발자와 AI 엔지니어를 위한 것입니다. 또한 Gazebo와 Isaac Sim 같은 시뮬레이터를 활용해 빠르게 프로토타입을 만들고자 하는 사용자도 지원합니다.
Highlights
- Multimodal Support: 시각, 음성, 텍스트 입력을 처리하고 음성 또는 물리적 움직임으로 응답합니다.
- Broad Hardware Compatibility: 휴머노이드, 사족보행 로봇, TurtleBot 4 등 다양한 로봇과 Gazebo, Isaac Sim 등 시뮬레이터를 지원합니다.
- Extensible Plugin System: 개발자가 플러그인을 통해 새로운 하드웨어 연결 및 데이터 센서를 추가할 수 있습니다.
- Observability: 내장된 Prometheus와 Grafana 스택을 포함해 LLM 및 ASR 지연 시간과 같은 실시간 파이프라인 메트릭을 모니터링합니다.
- Performance-focused: Go로 마이그레이션하여 엣지 배포에 적합한 작은 메모리 풋프린트와 낮은 지연 시간을 보장합니다.