amap-cvlab/ABot-World

Infinite Interactive World Rollout on a Single Desktop GPU

해결하는 문제

ABot-World는 AI 생성 콘텐츠에서 수동적인 동영상 재생의 한계를 해결하기 위해 실시간으로 상호작용 가능한 세계 시뮬레이터를 제공합니다. 사용자는 행동을 통해 환경을 제어할 수 있으며, 고정된 동영상 길이나 특정 장면 프롬프트에 얽매이지 않고 무한하고 개방적인 세계 탐색이 가능합니다.

작동 방식

이 시스템은 인과적 학습 모델(ABot-World-0-5B-LF)과 LongForcing 학습 기법을 사용하여 행동 조건부 동영상 롤아웃을 생성합니다. 이를 통해 모델은 즉각적으로 새로운 장면과 역학을 상상할 수 있습니다. 소비자용 하드웨어에 매우 최적화되어 있으며, FlashAttention, SageAttention, LightX2V와 같은 특수 커널을 활용하여 단일 데스크톱 GPU에서 실시간 성능을 달성합니다.

대상 사용자

이 프로젝트는 세계 모델, 상호작용형 AI 환경, 실시간 동영상 생성에 종사하는 연구자 및 개발자, 그리고 고성능 소비자용 GPU(특히 NVIDIA RTX 5090에서 테스트 완료)를 보유한 사용자를 대상으로 합니다.

주요 특징

  • 실시간 성능: 단일 RTX 5090에서 720p, 16 FPS, 1.2초 지연 시간으로 작동.
  • 행동 기반 제어: 사용자의 입력에 실시간으로 반응하는 지속적인 탐색을 가능하게 합니다.
  • 무한 롤아웃: 전통적인 고정된 동영상 길이 제한을 초월한 개방형 생성을 지원합니다.
  • 효율적인 메모리 사용: GPU 메모리 사용량은 19GB 이내에 유지됩니다.

관련

  • 프로젝트
    Robbyant/lingbot-world

    실시간 상호작용성과 장기적인 시간적 일관성을 갖춘 고충실도 인터랙티브 비디오 환경을 생성하는 오픈 소스 월드 시뮬레이터.

  • 프로젝트
    AMAP-ML/DreamX-World

    DreamX-World는 이벤트 프롬프트를 통해 사용자가 환경을 탐색하고 변형할 수 있는 고해상도이고 제어 가능한 시뮬레이션을 생성하는 일반 목적의 인터랙티브 월드 모델입니다.

  • 프로젝트
    nv-tlabs/Gamma-World

    Gamma-World는 여러 독립적으로 제어 가능한 에이전트가 공유 환경에서 동시에 상호작용하는 생성형 다중 에이전트 월드 모델로, 24 FPS에서 실시간 인터랙티브 비디오 생성을 지원합니다.

  • 프로젝트
    AlayaLab/AlayaWorld

    AlayaWorld는 단일 이미지, 카메라 궤적 및 텍스트 프롬프트에서 길고 3D 일관된 비디오를 생성하는 연구용 비디오 월드 모델입니다. 가벼운 AdaLN 컨트롤러와 증류된 몇 단계 DMD 학생 모델을 통해 실시간 상호 작용(카메라 조종, 프롬프트 전환)을 지원합니다. 저장소는 4가지 생성 경로에 대한 추론 코드, 사전 훈련된 가중치(AR 교사, DMD 학생, 1단계 양방향 Transformer), 부분 훈련 데이터 및 대화형 브라우저 데모를 제공합니다. LTX-2 커뮤니티 라이선스에 따라 학술 및 비상업적 용도로만 사용할 수 있습니다.

  • 프로젝트
    amap-cvlab/ABot-Recon

    ABot‑Recon은 긴 비디오 스트림에서 밀집 3‑D 지도를 재구성하는 연구용 시스템으로, 항상 12프레임의 로컬 컨텍스트만 유지합니다. 프레임별 포인트 클라우드와 상대 포즈를 예측하고 이를 전역 궤적으로 합성하며, H100에서 약 24 FPS로 실행됩니다. 저장소는 설치 스크립트, Python API, 선택적 루프 클로저, 시각화 도구, Hugging Face의 사전 훈련된 체크포인트를 제공합니다.