OpenMind/OM1

What it solves

OM1 は、開発者がデジタル環境と物理的なハードウェアの両方で動作するマルチモーダル AI エージェントを構築・展開するためのモジュール式ランタイムを提供します。多様なセンサー、AI モデル、物理的なアクチュエータを統合するための標準化された方法を提供することで、人間中心のロボット作成プロセスをプロセスを簡素化し、物理的な形状に関わらず、ロボットの構成やアップグレードを容易にします。

How it works

OM1 は、データ入力（カメラ、マイク、LIDAR、ウェブデータなど）を AI モデル（LLMs と VLMs）に接続し、次に物理的またはデジタルなアクションに繋げるパイプラインとして機能します。エッジデバイスでの高性能と低遅延を実現するため、主に Go で実装されています。このシステムは、プラグインベースのアーキテクチャを採用しており、Zenoh、ROS2、CycloneDDS などのプロトコルを介して様々なハードウェア接続をサポートし、OpenAI、Anthropic、Gemini などの主要な AI サービスや、Ollama を介したローカルモデルへのプリセット済みのエンドポイントを提供します。

Who it’s for

ヒューマノイド、四足歩行ロボット、スマートフォンアプリ、または Gazebo や Isaac Sim のようなシミュレータ上でマルチモーダル・エージェントを展開したいロボティクス開発者や AI エンジニア向けに設計されています。

Highlights

• マルチモーダル統合: 視覚、音声、テキスト入力を処理し、自然な会話と自律的なナビゲーションを可能にします。
• 幅広いハードウェアサポート: モジュール式プラグインシステムを通じて、物理的なロボット（例：Unitree Go2, G1）やシミュレータとインターフェースします。
• パフォーマンス重視: エッジ展開のために、メモリ使用量を抑え、低遅延を実現するために Go で構築されています。
• 観測可能性: LLM や ASR 延滞などのリアルタイムのパイプラインメトリクスを監視するために、Prometheus と Grafana スタックが組み込まれています。
• 完全な自律能力: BrainPack ハードウェアと組み合わせることで、SLAM、自律的な経路計画、自動充電をサポートします。