RobotecAI/rai

RAI is a vendor agnostic agentic framework for Physical AI robotics, utilizing ROS 2 tools to perform complex actions, defined scenarios, free interface execution, log summaries, voice interaction and more.

What it solves

RAI 提供了一個靈活的框架，讓開發者能將生成式 AI 與多智能體架構 (multi-agent architectures) 整合到機器人系統中。它彌補了高層次 AI 推理與物理機器人執行之間的差距，使機器人能夠處理複雜的問題解決、自然的人機交互以及多模態感官數據。

How it works

該框架由用於多智能體協調與人機交互的核心系統組成，並由一系列專業化模組支持：

  • Perception & Interaction: 包括語音轉文字 (ASR)、文字轉語音 (TTS) 以及開集物體檢測工具。
  • Robot Knowledge: 一個 "whoami" 工具，可從 URDFs 與文件進行機器人具身信息合成。
  • Integration: 連接至模擬環境並與 NoMaD 整合以進行導航。
  • Evaluation: 一套用於測試 agent、模型與模擬器的基準測試套件。

Who it’s for

機器人工程師與 AI 研究員，特別是那些使用 ROS2 (Humble 或 Jazzy) 與 Python 進行開發的具身智能功能構建者。

Highlights

  • Multi-Modal Support: 原生支持多種數據類型與同時進行的輸入/輸出模態。
  • Agentic Capabilities: 使機器人能夠對任務進行推理，例如分析在果園中遇到障礙物時的最佳行動方案。
  • Broad Hardware Compatibility: 已在多種平台進行了演示，包括自主式拖拉機、Franka Panda 手臂與 Husarion ROSbot XL。
  • Simulation Ready: 包含專門的套件，用於將 AI agent 連接到虛擬環境以進行測試。