xavierpuigf/virtualhome

API to run VirtualHome, a Multi-Agent Household Simulator

What it solves

VirtualHome은 복잡한 가정 활동을 위한 시뮬레이션 환경을 제공하여, 연구자들이 합성 데이터를 생성하고 실제 가정에서 물리적 로봇 없이 구현 AI 작업용 에이전트를 훈련할 수 있게 합니다. 데이터 부족 및 AI 에이전트가 가정 환경과 상호작용할 때 발생할 수 있는 안전 위험 문제를 해결합니다.

How it works

이 플랫폼은 시각 렌더링을 위한 Unity 기반 시뮬레이터와 "프로그램"(동작 시퀀스)을 실행하는 Python API를 결합합니다. 두 가지 주요 시뮬레이션 모드를 제공합니다:

  • Unity Simulator: Python 스크립트에 기반해 고품질 비디오와 활동 스냅샷을 렌더링합니다.
  • Evolving Graph: 경량의 Python 전용 시뮬레이터로, 환경 상태를 그래프로 추적하여 객체와 그 관계가 시간에 따라 어떻게 변하는지 나타냅니다.

Who it’s for

구현 AI, 강화 학습, 컴퓨터 비전 분야의 연구자를 위해 설계되었으며, 인간과 유사한 활동을 시뮬레이션하고 의미 분할 및 광류와 같은 실제 라벨 데이터를 생성할 수 있는 제어된 환경을 제공합니다.

Highlights

  • Interactive Environment: 물체를 집어들거나 가전제품을 작동시키는 등 복잡한 상호작용을 지원합니다.
  • Procedural Generation: 무한히 다양한 고유 가정 환경을 생성할 수 있습니다.
  • RL Integration: OpenAI Gym과 유사한 환경을 포함하고 Ray와 호환되어 병렬 학습이 가능합니다.
  • Ground-Truth Streaming: 타임스탬프가 포함된 동작, 깊이, 인스턴스/시맨틱 분할을 제공합니다.
  • Multi-Agent Support: 다중 에이전트가 참여하는 활동 시뮬레이션을 가능하게 합니다.