HorizonRobotics/HoloAgent

해결하는 문제

HoloAgent는 현실 세계에서 복잡하고 장시간에 걸친 작업을 수행할 수 있도록 일반 목적 로봇을 위한 통합 프레임워크를 제공합니다. 고수준 언어 지시를 물리적 실행과 연결하면서도 3D 메모리를 통해 환경에 대한 공간적 이해를 유지하는 문제를 해결합니다.

작동 방식

이 시스템은 언어 지시를 모니터링된 스킬 그래프로 변환하는 'Embodied AgentOS'로 작동합니다. 네 가지 핵심 구성 요소를 통합합니다:

• Embodied AgentOS: 고수준 작업 계획, 런타임 피드백, 클로즈드 루프 실행을 관리합니다.
• 3D Spatial Memory: 장기 작업을 위한 로봇의 추론을 지형화하기 위해 물리적 세계의 공간 표현을 제공합니다.
• Embodied Skills: 에이전트의 결정을 행동으로 변환하는 실행 가능한 탐색 및 조작 스킬 라이브러리입니다.
• FSR-VLN: 계층적 다중 모달 장면 그래프와 '빠른-느린' 추론을 사용하여 장거리 공간 탐색을 효율적으로 처리하는 특화된 탐색 구성 요소입니다.

대상 사용자

동적 현실 세계 환경에서 모바일 매니퓰레이션, 능동적 탐색, 인터랙티브한 인간-로봇 상호작용을 수행할 수 있는 임베디드 AI 에이전트를 개발하는 로봇 공학 연구자 및 개발자.

주요 특징

• 클로즈드 루프 실행: 공간 검색, 실행, 메모리 업데이트, 복구 메커니즘을 통합하여 작업이 성공적으로 완료되도록 보장합니다.
• 3D 공간 추론: 3D 메모리를 사용해 로봇이 새로운 공간을 탐색하고 환경에 대한 이해를 온라인으로 업데이트할 수 있습니다.
• 다중 로봇 협업: 인간형 로봇과 같은 여러 로봇 간의 탐색 및 운동을 조율할 수 있습니다.
• 계층적 탐색: 다중 모달 장면 그래프를 사용한 효율적인 시각-언어 탐색을 FSR-VLN으로 구현합니다.