OpenMind/OM1

What it solves

OM1은 개발자가 디지털 환경과 물리적 하드웨어 모두에서 작동하는 멀티모달 AI 에이전트를 구축하고 배포할 수 있는 모듈형 런타임을 제공합니다. 다양한 센서, AI 모델, 물리적 액추에이터를 통합하는 표준화된 방식을 제공함으로써, 인간 중심의 로봇을 만드는 과정을 단순화하며, 로봇의 물리적 형태와 관계없이 구성 및 업그레이드를 쉽게 만듭니다.

How it works

OM1은 데이터 입력(카메라, 마이크, LIDAR, 웹 데이터 등)을 AI 모델(LLMs 및 VLMs)과 연결하고, 그 다음 물리적 또는 디지털 동작으로 이어지는 파이프라인 역할을 합니다. 에지 디바이스에서의 높은 성능과 낮은 지연 시간을 위해 주로 Go 언어로 구현되었습니다. 이 시스템은 플러그인 기반 아키텍처를 사용하여 Zenoh, ROS2, CycloneDDS와 같은 프로토콜을 통해 다양한 하드웨어 연결을 지원하며, OpenAI, Anthropic, Gemini 등 주요 AI 서비스와 Ollama를 통한 로컬 모델에 대한 사전 설정된 엔드포인트를 제공합니다.

Who it’s for

휴머노이드, 사족보행 로봇, 전화 앱, 또는 Gazebo 및 Isaac Sim과 같은 시뮬레이터에서 멀티모달 에이전트를 배포하고자 하는 로보틱스 개발자 및 AI 엔지니어들을 위해 설계되었습니다.

Highlights

• 멀티모달 통합: 시각, 오디오, 텍스트 입력을 처리하여 자연스러운 대화와 자율 주행을 가능하게 합니다.

• 광범위한 하드웨어 지원: 모듈형 플러그인 시스템을 통해 물리적 로봇(예: Unitree Go2, G1)과 시뮬레이터 인터페이스를 지원합니다.

• 성능 중심: 에지 디바이스 배포를 위해 Go 언어로 구축되어 작은 메모리 사용량과 낮은 지연 시간을 보장합니다.

• 관측성: LLM 및 ASR 지연 시간과 같은 실시간 파이프라인 메트릭을 모니터링하기 위해 Prometheus와 Grafana 스택이 내장되어 있습니다.

• 완전한 자율성 기능: BrainPack 하드웨어와 결합할 경우, SLAM, 자율 경로 계획 및 자동 충전 기능을 지원합니다.