OpenDCAI/OpenWorldLib
Unified Codebase for Advanced World Models.
What it solves
OpenWorldLib은 인식 중심이며 상호작용 및 장기 기억 능력을 갖춘 모델로 정의되는 월드 모델을 위한 통합되고 표준화된 프레임워크를 제공합니다. 다양한 오픈소스 연구 성과를 다양한 하나의 구조화된 저장소에 통합함으로써 기존 월드 모델 관련 코드베이스의 불일치성을 제거하는 것을 목표로 합니다.
How it works
프레임워크는 월드 모델링의 다양한 측면을 처리하는 여러 핵심 모듈로 구성됩니다:
- Pipelines: 사용자의 주요 진입점이며, 모델 로딩 및 환경 초기화를 처리합니다.
- Operators: 입력 및 상호작용 신호를 처리하고 검증합니다.
- - &Operators: 입력 및 상호작용 신호를 처리하고 검증합니다.
- Synthesis: 생성 작업을 처리합니다. 여기에는 시각, 오디오 및 VLA (Vision-Language-Action) 생성이 포함됩니다.
- Reasoning: 공간, 일반 및 오디오 추론을 위한 추론을 관리합니다.
- Representations: 3D 출력 및 시뮬레이션 환경을 관리합니다.
- ** Memory: 멀티턴 상호작용을 위한 실행 컨텍스트를 유지합니다.
Who it’s for
다양한 월드 모델 관련 방법론을 호출하고 테스트하며 새로운 연구 성과를 통합하기 위한 일관된 방식이 필요한 월드 모델 커뮤니티의 연구자 및 개발자.
Highlights
- Broad Task Support: 비디오 생성(내비게이션, 롱 비디오, 그리고 egocentric interaction), 3D 장면 생성 및 추론(VQA 및 VLA)을 지원합니다.
- Standardized Structure: Matrix-Game-2, FlashWorld, 및 Pi-0와 같은 다양한 모델을 통합하기 위한 명확한 코드베이스 아키텍처를 제공합니다.
- Integrated Resources: 엄선한 최첨단 월드 모델 연구 목록과 기여자를 위한 전용 개발 가이드가 포함되어 있습니다.