dimensionalOS/dimos
Dimensional is the agentic operating system for physical space. Command humanoids, quadrupeds, drones, and other hardware platforms in natural language and build multi-agent systems that work seamlessly with physical input (cameras, lidar, actuators).
解决的问题
DimOS 是一个为通用机器人设计的操作系统和 SDK,旨在消除机器人编程的复杂性。它通过允许开发者完全使用 Python 构建物理应用,消除了对 ROS(机器人操作系统)的需求,并提供了一种标准化方式,与各种机器人制造商(人形机器人、四足机器人、无人机和机械臂)进行集成。
工作原理
DimOS 采用模块化架构,将机器人子系统定义为“模块”,并通过标准化消息进行通信。这些模块通过“蓝图”连接在一起,作为构建和连接机器人数据流的指令。该系统是“原生代理”设计,意味着基于大语言模型(LLM)的代理可以作为原生模块运行,订阅感知流(如 LiDAR 和摄像头)并直接控制电机驱动器。它还支持多种传输层(LCM、SHM、DDS、Zenoh、ROS 2),并提供 CLI 用于管理代理生命周期,通过 Model Context Protocol(MCP)调用技能。
适用人群
希望在无需 ROS 开销的情况下构建代理式物理应用的机器人开发者和 AI 研究人员,以及需要跨平台 SDK 以在 Unitree Go2、G1 和 DJI 无人机等不同硬件平台上运行的用户。
主要亮点
- 原生代理设计:支持使用自然语言进行“vibecoding”机器人开发,并构建与硬件交互的多代理系统。
- 空间记忆:实现时空 RAG 和物体定位,使机器人能够记忆并找到物体。
- 硬件无关性:支持广泛的平台,包括四足机器人、人形机器人、机械臂和无人机。
- dimTELE:一个托管的远程遥控系统,可通过浏览器或 Quest 头显使用 WebRTC 控制机器人,无需开放入站端口。
- MCP 集成:使用 Model Context Protocol 将机器人技能暴露为工具,供代理调用。
相关
- 项目
- 项目
- 项目
- 项目
- 项目