RobotecAI/rai

RAI is a vendor agnostic agentic framework for Physical AI robotics, utilizing ROS 2 tools to perform complex actions, defined scenarios, free interface execution, log summaries, voice interaction and more.

What it solves

RAI는 개발자가 생성형 AI와 멀티 에이전트 아키텍처를 로봇 시스템에 통합할 수 있는 유연한 프레임워크를提供합니다. 고수준 AI 추론과 물리적 로봇 실행 사이의 간극을 메우며, 로봇이 복잡한 문제 해결, 자연스러운 인간과의 상호작용, 그리고 멀티모달 센서 데이터를 처리할 수 있게 합니다.

How it works

이 프레임워크는 멀티 에이전트 조정 및 인간-로봇 상호작용을 위한 핵심 시스템으로 구성되며, 다음과 같은 전문화된 모듈 세트로 지원됩니다:

  • Perception & Interaction: 음성-텍스트 변환 (ASR), 텍스트-음성 변환 (TTS), 그리고 오픈셋 객체 탐지 도구를 포함합니다.

  • Robot Knowledge: URDFs 및 문서를 통해 로봇의 구체화(embodiment) 정보를 합성하는 "whoami" 도구.

  • Integration: 시뮬레이션 환경에 연결하고 NoMaD와 통합하여 내비게이션을 수행합니다.

  • Evaluation: 에이전트, 모델 및 시뮬레이터를 테스트하기 위한 벤치마킹 수트.

Who it’s for

ROS2 (Humble 또는 Jazzy) 및 Python을 사용하여 Embodied AI 기능을 구축하는 로봇 공학 엔지니어 및 AI 연구자.

Highlights

  • Multi-Modal Support: 다양한 데이터 유형과 동시 입출력 모달리티를 기본적으로 처리합니다.

  • Agentic Capabilities: 로봇이 미션을 통해 추론할 수 있게 합니다. 예를 들어, 과수원에서 장애물을 만났을 때 최적의 행동 방안을 분석합니다.

  • Broad Hardware Compatibility: 자율 주행 트랙터, Franka Panda 암, Husarion ROSbot XL을 포함한 다양한 플랫폼에서 입증되었습니다.

  • Simulation Ready: AI 에이전트를 테스트하기 위해 가상 환경에 연결하는 전용 패키지를 포함합니다.