EternalEvan/Astra

해결하는 문제

Astra는 특정 동작 입력에 반응하는 현실적인 장기 비디오 예측을 생성하는 과제를 해결합니다. 자율 주행, 로봇 조작, 카메라 움직임과 같은 다양한 실제 시나리오에서 미래의 비디오 시퀀스를 시뮬레이션하기 위한 제어 가능하고 시간적으로 일관된 방법을 제공하는 것을 목표로 합니다.

작동 원리

Astra는 시간적 인과 어텐션(temporal causal attention)을 갖춘 자기회귀 확산 트랜스포머를 기반으로 구축된 대화형 월드 모델입니다. 과거 이력과 동작 신호를 기반으로 미래 프레임을 예측하여 스트리밍 예측을 가능하게 합니다. 안정성과 제어력을 유지하기 위해 세 가지 핵심 기술 구성 요소를 사용합니다:

• Noise-augmented history memory: 장기 비디오 롤아웃 생성을 안정화합니다.
• Action-aware adapter: 제어 신호의 정밀한 통합을 보장합니다.
• Mixture of action experts: 다양한 유형의 동작 모달리티를 적절한 처리 경로로 라우팅합니다.

대상

미래의 시각적 상태를 예측하기 위해 고정밀 동작 조건부 시뮬레이터가 필요한 자율 시스템, 로봇 공학 및 AI 기반 비디오 생성 분야의 연구자 및 개발자.

주요 특징

• 동작 기반 제어: 비디오 생성을 가이드하기 위해 다양한 동작 입력(예: S자형 또는 회전과 같은 특정 카메라 궤적)을 지원합니다.
• 장기 롤아웃: 긴 시퀀스에 걸쳐 강력한 시간적 일관성을 가진 스트리밍 예측을 위해 설계되었습니다.
• 넓은 응용 범위: 자율 주행, 드론 내비게이션 및 로봇 조작에 적용 가능합니다。
• 효율적인 추론: 단일 24GB GPU(예: NVIDIA 3090)에서 실행할 수 있습니다.