dimensionalOS/dimos

Dimensional is the agentic operating system for physical space. Command humanoids, quadrupeds, drones, and other hardware platforms in natural language and build multi-agent systems that work seamlessly with physical input (cameras, lidar, actuators).

解決する課題

DimensionalOS (dimOS) は、ロボティクス向けのモダンでエージェントネイティブなオペレーティングシステムです。従来の煩雑なミドルウェアをPythonベースのSDKに置き換えることで、複雑なロボットアプリケーションの開発を簡素化します。これにより、ROS (Robot Operating System) を必要とせずに、人型ロボット、四足歩行ロボット、ドローンなどのハードウェア上でインテリジェントな動作を構築・デプロイできます。

仕組み

このシステムは「Blueprints」と「Modules」を中心に構築されています。モジュールは独立したサブシステム（カメラドライバー、モーターコントローラー、AIエージェントなど）として機能し、標準化されたデータストリームを介して通信します。開発者はPythonを使用してこれらのモジュールを定義し、autoconnect を使用してそれらを接続します。このプラットフォームは Model Context Protocol (MCP) との統合によりエージェント制御をサポートしており、LLMが自然言語コマンドを通じてロボットのセンサーやアクチュエーターと対話することを可能にします。また、空間メモリ、WebRTCによる遠隔操作、シミュレーション環境も組み込まれています。

対象ユーザー

Pythonを使用してエージェント指向のインテリジェントなハードウェアアプリケーションを構築したいロボットエンジニアやAI開発者向けに設計されています。特に、LLMやマルチエージェントシステムを物理ロボットの制御ループに直接統合したい方に最適です。

ハイライト

  • エージェントネイティブ： 自然言語とMCPを介してロボットを制御するLLMエージェントを標準サポート。
  • ハードウェア非依存： Unitreeの四足歩行/人型ロボット、ドローン、ロボットアームなど、幅広いプラットフォームをサポート。
  • ROS不要： 従来のロボティクスミドルウェアに代わる、Pythonファーストの合理化された代替手段を提供。
  • 遠隔操作： WebブラウザやVRヘッドセットからロボットを遠隔操作するためのホスト型サービス dimTELE を同梱。
  • 空間知能： SLAM、動的障害物回避、および物体永続性のための時空間RAG機能を内蔵。

関連

  • プロジェクト
    syswonder/robonix

    Robonixは、具現化AI（Embodied AI）のためのオープンソースの自律型オペレーティングシステムです。LLM/VLMモデルを使用して自然言語コマンドをロボットタスク記述言語（RTDL）プログラムに変換し、実機やシミュレーション上の多様なロボットで実行します。システムは、バージョン管理されたコントラクトを通じて登録される階層的な抽象化（プリミティブ、サービス、スキル、タスク）に基づいて構築されており、ハードウェアとソフトウェアの分離と異種プラットフォーム間での再利用を可能にします。READMEには、Rust、uv、Dockerのインストール、`rbnx` CLIのビルド、Webotsシミュレーターの実行、OpenAI互換VLMエンドポイントを使用したシステムの起動を含むクイックスタートガイドが記載されています。豊富なパッケージカタログには、実機およびシミュレーションの両方でサポートされている数十種類のロボットがリストされています。プロジェクトはMulan PSL-2.0ライセンスの下で公開されています。

  • プロジェクト
    agiresearch/AIOS

    AIOSは、LLMベースのエージェント向けのオープンソース「オペレーティングシステム」です。カーネル（このリポジトリ）はLLMインスタンス、メモリ、ストレージ、ツールサンドボックスを管理し、Cerebrum SDKを介してシステムコールスタイルのAPIを公開します。Ollama、vLLM、HuggingFace、Deepseekなど多数のモデルバックエンドをサポートし、外部ツールと統合可能。ローカル単一マシンからリモート、個人、仮想化カーネルまで、さまざまなデプロイモードを提供します。Python 3.10/3.11環境でインストール可能。設定は`config.yaml`で行い、Web UIまたは自然言語ターミナルからエージェントを実行できます。研究レベル（複数のカンファレンス論文）であり、現在も積極的にメンテナンスされています。

  • プロジェクト
    dusty-nv/jetson-containers

    jetson‑containers は、NVIDIA Jetson エッジデバイス向けに CUDA 互換の AI/ML、ロボティクス、シミュレーションパッケージを用意したモジュール式 Docker ベースのビルドシステムです。PyTorch、TensorFlow、LLM ツールキット、ROS などのフレームワークを選択し、1 つのコマンドで単一コンテナをビルドし、NVIDIA ランタイムのデフォルト設定で実行できます。Jetson ハードウェア上で再現可能で高性能な AI 環境が必要な開発者や研究者に最適です。

  • プロジェクト
    autonomous-ai/lampOS

    LLMエージェントがGoベースのOS、HALドライバ、音声パイプライン、Markdown定義のスキルを介して実際のロボット（Lamp、Intern、Reachy Mini）を制御できるPhysical AIオペレーティングシステム。

  • プロジェクト
    Gentleman-Programming/gentle-shell

    gentle‑shell は、Pi LLM プラットフォーム上に構築されたターミナルベースのコーディングエージェントです。自然言語でタスクを記述でき、構造化された「Organic Driven Development」ワークフローを通じて作業を調整し、専門のサブエージェントに委任でき、ライブの Git 差分とエージェントのステータスを表示し、コミット前に正確な変更を承認する必要があります。macOS、Windows、Linux 用のインストーラーがあり、UI はコマンドパレットと `/gentle:customize` パネルでカスタマイズできます。