OM1: 物理ロボットやシミュレータにマルチモーダルエージェントをデプロイするためのモジュール式AIランタイム

解決する課題

OM1は、マルチモーダルAIエージェントの作成とデプロイを簡素化するために設計されたモジュール式AIランタイムです。高レベルのAIモデル（LLMsやVLMs）と物理ハードウェアの間のギャップを埋め、開発者が異なるフォームファクタごとにコアパイプラインを再構築することなく、デジタル環境、シミュレータ、およびヒューマノイドや四足歩行ロボットなどの物理ロボットにエージェントをデプロイできるようにします。

仕組み

OM1は、多様なデータ入力（ウェブデータ、カメラフィード、LIDAR）を事前設定済みのAIエンドポイント（OpenAI、Anthropic、Geminiなど）に接続し、それらの出力を物理的なアクションに変換するミドルウェア層として機能します。エッジデバイス上での高いパフォーマンスと低レイテンシを実現するために、Goで記述されたモジュール式アーキテクチャを採用しています。このシステムは、ROS2、Zenoh、CycloneDDSなどのプロトコルを介してロボットハードウェア抽象化層（HAL）とインターフェースし、ロボットに基本的な移動コマンドを送信することができます。

対象ユーザー

主に、アップグレードや再構成が容易な人間中心のロボットを構築したいロボティクス開発者やAIエンジニアを対象としています。また、GazeboやIsaac Simのようなシミュレータを使用して迅速なプロトタイピングを行うユーザーもサポートしています。

ハイライト

• マルチモーダル対応: 視覚、音声、およびテキスト入力を処理し、音声または物理的な動きを通じて応答します。
• 幅広いハードウェア互換性: 幅広いロボット（Humanoids、Quadrupeds、TurtleBot 4）およびシミュレータ（Gazebo、Isaac Sim）をサポートしています。
• 拡張可能なプラグインシステム: 開発者がプラグインを介して新しいハードウェア接続やデータセンサーを追加することを可能にします。
• オブザーバビリティ: LLMやASRのレイテンシなどのリアルタイムのパイプラインメトリクスを監視するために、PrometheusおよびGrafanaスタックが組み込まれています。
• パフォーマンス重視: エッジデプロイメントのために、より小さなメモリフットプリントとより低いレイテンシを確保するためにGoに移行しました。