RobotecAI/rai

RAI is a vendor agnostic agentic framework for Physical AI robotics, utilizing ROS 2 tools to perform complex actions, defined scenarios, free interface execution, log summaries, voice interaction and more.

What it solves

RAIは、開発者が生成AIとマルチエージェントアーキテクチャをロボットシステムに統合するための柔軟なフレームワークを提供します。高レベルのAI推論と物理的なロボットの実行を橋渡し、ロボットが複雑な問題解決、自然な人間とのインタラクション、およびマルチモーダルなセンサーデータを扱うことを可能にします。

How it works

このフレームワークは、マルチエージェントの調整と人間とロボットのインタラクションのためのコアシステムで構成されており、一連の専門的なモジュールによってサポートされています：

Perception & Interaction: 音声からテキストへの変換 (ASR)、テキストから音声への変換 (TTS)、およびオープンセット物体検出ツールを含みます。
Robot Knowledge: URDFs とドキュメントからロボットの具身化情報を合成する "whoami" ツール。
Integration: シミュレーション環境に接続し、NoMaD と連携してナビゲーションを行います。
Evaluation: エージェント、モデル、およびシミュレーターをテストするためのベンチマークスイート。

Who it’s for

ROS2 (Humble または Jazzy) と Python を使用して具身AI (Embodied AI) 機能を手がかりに構築しているロボット工学エンジニアおよび AI 研究者。

Highlights

Multi-Modal Support: 多様なデータ型と、同時に入出力のモダリティを扱えます。
Agentic Capabilities: ロボットがミッションを通じて推論を行うことを可能にします。例えば、果樹園における障害物のための最適な行動プランを分析します。
Broad Hardware Compatibility: 自律走行トラクター、Franka Panda アーム、Husarion ROSbot XL など、様々なプラットフォームで実証済みです。
Simulation Ready: AI エージェントをテストするために、仮想環境に接続するための専用パッケージが含まれています。