mira-wm/mira

해결하는 문제

MIRA는 복잡한 멀티플레이어 환경에서 실시간으로 상호작용 가능한 세계 모델을 구축하는 도전 과제를 해결합니다. 네 명의 플레이어의 동시에 행동에 기반하여 전체 2v2 Rocket League 경기를 비디오 프레임으로 생성하는 시뮬레이션을 가능하게 합니다.

작동 방식

이 시스템은 순차적으로 비디오 프레임을 생성하는 50억 파라미터의 잠재 확산 모델을 사용합니다. 시각 데이터를 처리하기 위해 표현 자동부호화기(코덱)를 활용합니다. 학습 과정은 코덱, 단일 플레이어 세계 모델, 그리고 단일 플레이어 버전에서 웜스타트된 4플레이어 세계 모델로 구성됩니다. 학습에는 2v2 경기에서 동기화된 뷰, 키보드 조작, 게임 상태를 포함하는 "Rocket Science" 데이터셋이 사용됩니다.

대상 사용자

세계 모델, 비디오 생성을 위한 잠재 확산, 복잡한 상호작용 시뮬레이션을 위한 AI에 종사하는 연구자 및 개발자.

주요 특징

• 실시간 성능: 단일 GPU에서 20 FPS로 전체 2v2 경기를 실행 가능.
• 다중 플레이어 상호작용: 네 명의 플레이어의 행동 조합에 기반하여 프레임 생성.
• 대규모 모델: 50억 파라미터 잠재 확산 아키텍처 활용.
• 포괄적인 데이터셋: 동기화된 다중 뷰 비디오, 조작, 물리 상태를 포함하는 "Rocket Science" 데이터셋.