OpenMind/OM1

OpenMind OM1 – ロボットのためのモジュール式AIランタイム

概要

• OM1は、マルチモーダルなAIエージェント（見て、聞いて、話して、行動できるプログラム）を構築し、ロボットや仮想環境に接続するためのランタイム（実行ソフトウェア）です。
• コアはGoで記述されており、エッジデバイス（Jetson、Raspberry Piなど）での低遅延かつ低メモリでの動作を実現します。以前のPythonバージョンも存在しますが、現在は非推奨です。

主な機能

機能	仕組み
モジュール式アーキテクチャ	新しいセンサー、アクション、ハードウェアアダプターのためのプラグインシステム。
入力処理	Webカメラ、マイク、LIDAR、Webフィード、ソーシャルメディアストリームなど。
ハードウェアアダプター	プラグインはROS 2、Zenoh、CycloneDDS、USB/シリアル、またはwebsocketsを介して通信します。
LLM/VLM統合	OpenAI、Anthropic、Gemini、Ollama、DeepSeek、Meta、NearAI、および視覚言語モデル用の事前設定済みエンドポイント。
可観測性	バンドルされたPrometheus + Grafanaスタックにより、パイプラインの遅延（LLM、ASRなど）を監視。
ロボット機能	オプションのBrainPackを通じて、SLAM、自律走行、自動充電、顔の匿名化機能を利用可能。

一般的なワークフロー

1. 依存関係のインストール – portaudio & ffmpeg（音声/ビデオ）およびGoツールチェーン。
2. バイナリの取得（またはソースからビルド）し、OpenMind APIキーを設定。
3. 設定の実行 – 例：config/conversation.json5 は、Webカメラ/マイクを使用し、データをLLMに送信し、TTSを介して応答する「会話」エージェントを起動します。
4. ログの監視 – ターミナルに状態の更新が表示されます。オプションのGrafanaダッシュボードで遅延メトリクスを可視化できます。
5. 拡張 – plugins/ 配下にGoファイルを配置し、JSON5設定で参照することで、新しい inputs（センサープラグイン）や actions（ロボットの動作、カスタムコマンド）を追加できます。

サポートされているロボットとシミュレーター

• 実機：Unitree Go2、G1、Deep Robotics M20 Pro、LimX Tron、および高レベルSDK（ROS 2、Zenohなど）を公開しているあらゆるロボット。
• シミュレーター：Gazebo（迅速なプロトタイピング用）およびNVIDIA Isaac Sim（GPU加速物理演算）。

なぜGoなのか？

• より高速な推論パイプライン、効率的な並行処理、単一バイナリでのデプロイ、エッジコンピューティングに適した小さなメモリフットプリント。

クイックスタート

# macOS example
brew install portaudio ffmpeg
curl -L -o om1.tar.gz <release-url>
tar xf om1.tar.gz
chmod +x om1
export OM_API_KEY=YOUR_KEY
./om1 -config ./config/conversation.json5

エージェントが起動し、Webカメラ/音声を処理し、選択したLLMを呼び出し、応答を読み上げる様子を確認できます。

拡張性

• アクションプラグインは plugins/actions/ に配置されます。例：unitree/go2/autonomy/move.go は、高レベルの move コマンドをZenoh経由でROS 2の cmd_vel メッセージに変換します。
• 入力プラグインは、期待されるインターフェースを実装し、設定に登録することで、新しいセンサー（例：ZED深度カメラ）向けに追加できます。

ドキュメントとコミュニティ

• 完全なドキュメント：https://docs.openmind.com/
• 技術論文：arXiv 2412.18588
• X (旧Twitter) アカウント：@openmind_agi

ライセンス

• MIT – OM1ベースのエージェントを自由に利用、修正、配布できます。

---

結論：OM1は、マルチモーダルな知覚、LLM/VLM推論、リアルタイムな動作制御に焦点を当て、高性能なGoランタイムとしてパッケージ化された、AI駆動のロボットやシミュレーターを構築するための本格的なプロダクショングレードのフレームワークです。