OpenMind/OM1

What it solves

OM1 为开发者提供了一个模块化运行时，用于构建和部署可以在数字环境和物理硬件之间运行的多模态 AI 智能体。它通过提供一种标准化的方式来集成多种传感器、AI 模型和物理执行器，简化了创建以人为中心的机器人的过程，无论其物理形态如何，都能让机器人更容易进行配置和升级。

How it works

OM1 作为一个流水线（pipeline）将数据输入（例如摄像头、麦克风、LIDAR 和网络数据）连接到 AI 模型（LLMs 和 VLMs）以及随后的物理或数字动作。它主要使用 Go 语言实现，以确保在边缘设备上的高性能和低延迟。该系统采用基于插件的架构，通过 Zenoh、ROS2 和 CycloneDDS 等协议来支持多种硬件连接，并为主要的 AI 服务（OpenAI、Anthropic、Gemini 等）以及通过 Ollama 提供的本地模型提供预配置的端点。

Who it’s for

它是为机器人开发者和 AI 工程师设计的，旨在于人形机器人、四足机器人、手机应用或在 Gazebo 和 Isaac Sim 等模拟器中部署多模态智能体。

Highlights

• 多模态集成: 处理视觉、音频和文本输入，以实现自然对话和自主导航。
• 广泛的硬件支持: 通过模块化插件系统与物理机器人（例如 Unitree Go2, G1）和模拟器进行接口连接。
• 性能导向: 使用 Go 语言构建，以确保在边缘部署时具有较小的内存占用和低延迟。
• 可观测性: 内置 Prometheus 和 Grafana 技术栈，用于监控 LLM 和 ASR 延迟等实时流水线指标。
• 全自动能力: 与 BrainPack 硬件搭配使用时，支持 SLAM、自主路径规划和自动充电。