OpenMind/OM1

OpenMind OM1 – 로봇을 위한 모듈형 AI 런타임

개요

OM1은 멀티모달 AI 에이전트(보고, 듣고, 말하고, 행동할 수 있는 프로그램)를 구축하여 로봇이나 가상 환경에 연결할 수 있게 해주는 런타임(실행 소프트웨어)입니다.
핵심은 Go로 작성되어 엣지 디바이스(Jetson, Raspberry Pi 등)에서 저지연 및 저메모리로 작동합니다. 이전 Python 버전이 존재하지만 현재는 사용되지 않습니다.

주요 기능

기능	작동 방식
모듈형 아키텍처	새로운 센서, 동작 및 하드웨어 어댑터를 위한 플러그인 시스템.
입력 처리	웹캠, 마이크, LIDAR, 웹 피드, 소셜 미디어 스트림 등.
하드웨어 어댑터	플러그인은 ROS 2, Zenoh, CycloneDDS, USB/시리얼 또는 websockets를 통해 통신합니다.
LLM/VLM 통합	OpenAI, Anthropic, Gemini, Ollama, DeepSeek, Meta, NearAI 및 시각 언어 모델을 위한 사전 구성된 엔드포인트.
관측 가능성	번들로 제공되는 Prometheus + Grafana 스택을 통해 파이프라인 지연 시간(LLM, ASR 등)을 모니터링합니다.
로봇 기능	선택적 BrainPack을 통해 SLAM, 자율 주행, 자동 충전 및 얼굴 익명화 기능을 사용할 수 있습니다.

일반적인 워크플로우

의존성 설치 – portaudio & ffmpeg(오디오/비디오) 및 Go 툴체인.
바이너리 획득(또는 소스에서 빌드) 및 OpenMind API 키 설정.
설정 실행 – 예: config/conversation.json5는 웹캠/마이크를 사용하고, 데이터를 LLM으로 전송하며, TTS를 통해 응답하는 "대화" 에이전트를 시작합니다.
로그 확인 – 터미널에 상태 업데이트가 표시됩니다. 선택적 Grafana 대시보드에서 지연 시간 메트릭을 시각화할 수 있습니다.
확장 – plugins/ 아래에 Go 파일을 배치하고 JSON5 설정에서 참조하여 새로운 inputs(센서 플러그인) 또는 actions(로봇 동작, 사용자 정의 명령)를 추가할 수 있습니다.

지원되는 로봇 및 시뮬레이터

물리적 로봇: Unitree Go2, G1, Deep Robotics M20 Pro, LimX Tron 및 고수준 SDK(ROS 2, Zenoh 등)를 노출하는 모든 로봇.
시뮬레이터: Gazebo(빠른 프로토타이핑용) 및 NVIDIA Isaac Sim(GPU 가속 물리 엔진).

왜 Go인가?

더 빠른 추론 파이프라인, 효율적인 동시성 처리, 단일 바이너리 배포, 엣지 컴퓨팅에 적합한 작은 메모리 점유율.

빠른 시작

# macOS example
brew install portaudio ffmpeg
curl -L -o om1.tar.gz <release-url>
tar xf om1.tar.gz
chmod +x om1
export OM_API_KEY=YOUR_KEY
./om1 -config ./config/conversation.json5

에이전트가 시작되고, 웹캠/오디오를 처리하며, 선택한 LLM을 호출하고 응답을 말하는 것을 확인할 수 있습니다.

확장성

동작 플러그인은 plugins/actions/ 아래에 위치합니다. 예: unitree/go2/autonomy/move.go는 고수준 move 명령을 Zenoh를 통해 ROS 2 cmd_vel 메시지로 변환합니다.
입력 플러그인은 예상되는 인터페이스를 구현하고 설정에 등록하여 새로운 센서(예: ZED 깊이 카메라)에 대해 추가할 수 있습니다.

문서 및 커뮤니티

전체 문서: https://docs.openmind.com/
기술 논문: arXiv 2412.18588
X (구 Twitter) 계정: @openmind_agi

라이선스

MIT – OM1 기반 에이전트를 자유롭게 사용, 수정 및 배포할 수 있습니다.

결론: OM1은 멀티모달 인식, LLM/VLM 추론 및 실시간 동작 제어에 중점을 두고 고성능 Go 런타임으로 패키징된, AI 기반 로봇 및 시뮬레이터 구축을 위한 진정한 프로덕션급 프레임워크입니다.

OpenMind/OM1

OpenMind OM1 – 로봇을 위한 모듈형 AI 런타임

관련