dimensionalOS/dimos

Dimensional is the agentic operating system for physical space. Command humanoids, quadrupeds, drones, and other hardware platforms in natural language and build multi-agent systems that work seamlessly with physical input (cameras, lidar, actuators).

何を解決するか

DimOS は汎用ロボット用のオペレーティングシステムと SDK であり、ロボットプログラミングの複雑さを解消することを目的としています。ROS(Robot Operating System)の必要性を排除し、開発者が Python だけで物理アプリケーションを完全に構築できるようにし、さまざまなロボットメーカー(ヒューマノイド、四足歩行ロボット、ドローン、アーム)と標準化された方法で統合できるようにします。

動作方法

DimOS はモジュールアーキテクチャを採用しており、ロボットのサブシステムは「モジュール」として定義され、標準化されたメッセージを通じて通信します。これらのモジュールは「ブループリント」と呼ばれる仕組みで接続され、ロボットのデータストリームを構築・接続するための指示として機能します。このシステムは「エージェントネイティブ」であり、LLMベースのエージェントがネイティブモジュールとして実行され、センサー入力(LiDAR やカメラなど)のストリームにサブスクライブし、モータードライバを直接制御できます。また、複数のトランスポート層(LCM、SHM、DDS、Zenoh、ROS 2)をサポートし、Model Context Protocol(MCP)を介してスキルを呼び出すための CLI を提供しています。

対象ユーザー

ROS のオーバーヘッドなしでエージェントベースの物理アプリケーションを構築したいロボット開発者や AI 研究者、また Unitree Go2、G1、DJI ドローンなど異なるハードウェアプラットフォーム間で動作するクロスプラットフォーム SDK を必要とするユーザー。

特徴

  • エージェントネイティブ設計:自然言語による「vibecoding」ロボットの構築と、ハードウェアと相互作用するマルチエージェントシステムの構築を可能にします。
  • 空間記憶:時空間 RAG と物体位置特定を実装し、ロボットが物体を記憶・検索できるようにします。
  • ハードウェア非依存:四足歩行ロボット、ヒューマノイド、ロボットアーム、ドローンなど幅広いプラットフォームをサポートします。
  • dimTELE:WebRTC を介してブラウザやQuestヘッドセットからリモート操作できるホスティング型リモートテレオペレーションシステム。インバウンドポートの開放は不要です。
  • MCP統合:Model Context Protocol を使用してロボットのスキルをツールとして公開し、エージェントが呼び出せるようにします。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト