OpenMind/OM1

Modular AI HAL (Hardware Abstraction Layer) for Robots

What it solves

OM1 是一個模組化的 AI 執行環境，旨在簡化多模態 AI 代理的建立與部署。它彌合了高階 AI 模型（LLM 與 VLM）與實體硬體之間的鴻溝，讓開發者能在數位環境、模擬器以及類人機器人、四足機器人等實體機器人上部署代理，而不必為每種不同的形態重新構建核心管線。

How it works

OM1 作為中介層，將多樣的資料輸入（網路資料、相機影像、LIDAR）連接到預先配置好的 AI 端點（OpenAI、Anthropic、Gemini 等），再將這些輸出轉換為實體動作。它採用以 Go 撰寫的模組化架構，提供高效能與低延遲的邊緣裝置運行。系統透過 ROS2、Zenoh、CycloneDDS 等協議與機器人硬體抽象層（HAL）介面，將基本的移動指令傳送給機器人。

Who it’s for

主要對象是想打造以人為本、易於升級與重新配置的機器人的機器人開發者與 AI 工程師。也支援使用 Gazebo、Isaac Sim 等模擬器進行快速原型開發的使用者。

Highlights

  • Multimodal Support: 處理視覺、音訊與文字輸入，並以語音或實體動作回應。
  • Broad Hardware Compatibility: 支援多種機器人（類人機器人、四足機器人、TurtleBot 4）與模擬器（Gazebo、Isaac Sim）。
  • Extensible Plugin System: 允許開發者透過插件新增硬體連接與資料感測器。
  • Observability: 內建 Prometheus 與 Grafana 堆疊，監控 LLM 與 ASR 延遲等即時管線指標。
  • Performance-focused: 移植至 Go，以確保較小的記憶體占用與更低的延遲，適合邊緣部署。