OM1: 一个用于在物理机器人和模拟器中部署多模态智能体的模块化 AI 运行时

它解决了什么问题

OM1 是一个模块化的 AI 运行时，旨在简化多模态 AI 智能体的创建和部署。它弥合了高层 AI 模型（LLMs 和 VLMs）与物理硬件之间的鸿沟，允许开发者在数字环境、模拟器以及人形机器人和四足机器人等物理机器人上部署智能体，而无需为每种不同的形态进行重新构建核心流水线。

工作原理

OM1 作为一个中间件层，将多样化的数据输入（网络数据、摄像头馈送、LIDAR）连接到预配置的 AI 端点（OpenAI, Anthropic, Gemini 等），然后将这些输出转化为物理动作。它采用使用 Go 编写的模块化架构，以确保在边缘设备上的高性能和低延迟。该系统通过 ROS2, Zenoh, 和 CycloneDDS 等协议与机器人硬件抽象层 (HAL) 进行接口交互，从而能够向机器人发送基础运动指令。

适用人群

它主要面向希望构建易于升级和重新配置的人机交互型机器人的机器人开发人员和 AI 工程师。它还支持使用 Gazebo 和 Isaac Sim 等模拟器进行快速原型设计的用户。

亮点

• 多模态支持：处理视觉、音频和文本输入，并通过语音或物理运动做出响应。
• 广泛的硬件兼容性：支持多种机器人（Humanoids, Quadrupeds, TurtleBot 4）和模拟器（Gazebo, Isaac Sim）。
• 可扩展的插件系统：允许开发者通过插件添加新的硬件连接和数据传感器。
• 可观测性：内置 Prometheus 和 Grafana 技术栈，用于监控实时流水线指标，例如 LLM 和 ASR 延迟。
• 性能导向：迁移至 Go 以确保在边缘部署时具有更小的内存占用和更低的延迟。