OM1: 一個用於在實體機器人與模擬器中部署多模態代理的模組化 AI 執行環境

它解決了什麼問題

OM1 是一個模組化的 AI 執行環境，旨在簡化多模態 AI 代理的創建與部署。它填補了高階 AI 模型（LLMs 與 VLMs）與實體硬體之間的鴻溝，讓開發者無需為每種不同的外型規格重新構建核心流程，即可在數位環境、模擬器以及如人形機器人與四足機器人等實體機器人中部署代理。

運作原理

OM1 作為一個中間件層，將多樣化的數據輸入（網路數據、攝影機影像、LIDAR）連接到預先配置的 AI 端點（OpenAI, Anthropic, Gemini 等），然後將這些輸出轉換為實體動作。它採用以 Go 編寫的模組化架構，以確保在邊緣設備上的高效能與低延遲。該系統透過 ROS2、Zenoh 與 CycloneDDS 等協定與機器人硬體抽象層（HAL）進行介面連接，使其能夠向機器人發送基礎移動指令。

目標對象

它主要針對希望構建易於升級與重新配置的人本機器人開發者與 AI 工程師。它也支援使用 Gazebo 與 Isaac Sim 等模擬器進行快速原型設計的使用者。

重點特色

• 多模態支援：處理視覺、音訊與文本輸入，並透過語音或實體動作進行回應。
• 廣泛的硬體相容性：支援多種機器人（Humanoids, Quadrupeds, TurtleBot 4）與模擬器（Gazebo, Isaac Sim）。
• 可擴展的插件系統：允許開發者透過插件添加新的硬體連接與數據感測器。
• 可觀測性：內建 Prometheus 與 Grafana 技術棧，用於監控如 LLM 與 ASR 延遲等即時流程指標。
• 效能導向：遷移至 Go 以確保在邊緣部署時具有更小的記憶體佔用與更低的延遲。