RobotecAI/rai

RAI is a vendor agnostic agentic framework for Physical AI robotics, utilizing ROS 2 tools to perform complex actions, defined scenarios, free interface execution, log summaries, voice interaction and more.

What it solves

RAI 提供了一个灵活的框架，让开发者可以将生成式 AI 和多智能体架构 (multi-agent architectures) 集成到机器人系统中。它桥接了高层 AI 推理与物理机器人执行之间的差距，它使机器人可以处理复杂的 problem-solving、自然的人机交互以及多模态感官数据。

How it works

该框架由用于多智能体协调和人机交互的核心系统组成，由一系列专门的模块支持：

  • Perception & Interaction: 包括语音转文本 (ASR)、文本转语音 (TTS) 以及开集目标检测工具。
  • Robot Knowledge: 一个 "whoami" 工具，可从 URDFs 和文档进行机器人具身信息合成。
  • ** Integration**: 连接到模拟环境并与 NoMaD 集成以进行导航。
  • Evaluation: 一套用于测试 agent、模型和模拟器的基准测试套件。

Who it’s for

机器人工程师和 AI 研究员，正在构建具身智能 (Embodied AI) 功能，特别是那些使用 ROS2 (Humble 或 Jazzy) 和 Python 的人员。

Highlights

  • Multi-Modal Support: 原生支持多种数据类型和同时进行的输入/输出模态。
  • Agentic Capabilities: Enabl’es 机器人可以推理任务，例如分析在果园中遇到障碍物时最佳的行动方案。
  • Broad Hardware Compatibility: 已在各种平台进行了演示，包括自主式拖拉机、Franka Panda 手臂和 Husarion ROSbot XL。
  • Simulation Ready: 包含专门的软件包，用于将 AI agent 连接到虚拟环境进行测试。