liangpan99/TokenHSI

해결하는 문제

TokenHSI는 다양한 인간-장면 상호작용(HSI) 작업을 수행할 수 있는 물리 기반 캐릭터를 생성하는 어려움을 해결합니다. 모든 동작에 대해 별도의 모델을 학습시키는 대신, 등반, 앉기, 물체 운반과 같은 다양한 상호작용을 합성할 수 있는 통합된 방법을 제공하며 새로운 환경과 물체 모양에 적응할 수 있습니다.

작동 원리

이 프로젝트는 단일 Transformer 네트워크를 사용하며, "작업 토큰화"(task tokenization)를 통해 여러 기초 HSI 기술을 통합합니다. 이를 통해 모델은 일반적인 상호작용 기술 세트를 학습하고 해당 기술을 더 복잡한 시나리오에 적용할 수 있습니다. 시스템은 강화 학습(rl_games 사용)을 통해 학습되고 IsaacGym 환경에서 시뮬레이션되며, 인간형 표현을 위해 SMPL 바디 모델을 활용합니다.

대상 사용자

물리적으로 타당한 인간 동작 합성 및 인간형 로봇 제어를 연구하는 로봇 공학, 컴퓨터 애니메이션, 구현된 AI(Embodied AI) 분야의 연구자 및 개발자를 위한 것입니다.

주요 특징

• 통합 모델: 여러 기초 기술(경로 추종, 앉기, 등반, 운반)을 하나의 Transformer 네트워크로 결합합니다.
• 기술 합성: 학습된 기술을 결합하여 경로를 따라가거나 등반하는 동안 물체를 운반하는 등의 복잡한 작업을 수행할 수 있습니다.
• 적응성: 물체 모양의 변화(예: 상자 운반에서 의자 운반으로 전환) 및 지형 변화를 처리합니다.
• 장기 작업: 복잡하고 역동적인 환경에서 확장된 작업을 완료할 수 있습니다.