OpenDCAI/OpenWorldLib
Unified Codebase for Advanced World Models.
OpenWorldLib – 세계 모델을 위한 통합 프레임워크
개요 – OpenWorldLib는 세계 모델(복잡한 환경을 인식, 기억, 추론, 생성하는 다중 모달 시스템)에 대한 연구를 통합하는 오픈소스 코드베이스입니다. 인식, 기억, 추론, 생성을 위한 구성 요소(확산 모델, LLM 코어, 인식, 메모리, 3D 처리 등)의 표준화된 라이브러리와 즉시 실행 가능한 파이프라인을 제공하여 연구자가 새로운 방법을 플러그인하거나 기존 방법을 벤치마킹할 수 있습니다.
주요 기능
- 다중 모달 이해 – 시각, 오디오, 언어 인식 모듈.
- 시각-행동 예측 – VQA, 행동 계획, 대화형 생성과 같은 시각-언어-행동(VLA) 작업용 파이프라인.
- 시각 생성 – 비디오, 내비게이션 기반 비디오, 장편 비디오, 자기 중심적 상호작용 비디오, 3D 장면 합성.
- 메모리 및 추론 – 장기 메모리 구조와 추론 모듈(공간, 오디오, 일반).
- 확장 가능한 파이프라인 – 사전 학습된 가중치를 로드하고 연산자(입력 검증)를 처리하며 합성, 추론, 표현 모듈을 조정하는 고급
Pipeline클래스.stream()인터페이스는 자동 컨텍스트 저장으로 다중 턴 상호작용을 지원합니다.
시작하기
# 1. conda 환경 생성
conda create -n openworldlib python=3.10 -y
conda activate openworldlib
# 2. 모든 종속성 설치(스크립트가 서브모듈 설치, CUDA 라이브러리 등을 처리)
cd OpenWorldLib
bash scripts/setup/default_install.sh
설치 후 matrix-game-2 비디오 생성 모델의 빠른 데모를 실행할 수 있습니다:
bash scripts/test_inference/test_nav_video_gen.sh matrix-game-2
bash scripts/test_stream/test_nav_video_gen.sh matrix-game-2
저장소에는 다른 모델용 유사한 스크립트가 scripts/test_inference 및 scripts/test_stream 아래에 많이 포함되어 있습니다.
프로젝트 구조
OpenWorldLib/
├─ assets/ # 로고, 데모 미디어
├─ data/ # 벤치마크 및 테스트 데이터
├─ docs/ # 설치 가이드, 계획, 선별된 "awesome" 목록
├─ examples/ # 평가 노트북/스크립트
├─ scripts/ # 설정, 테스트, 스트리밍 스크립트
├─ src/openworldlib/ # 핵심 라이브러리
│ ├─ base_models/ # 확산, LLM/멀티 LLM 코어, 인식 백본
│ ├─ memories/ # 컨텍스트 메모리 및 추론 메모리
│ ├─ operators/ # 입력 전처리/상호작용 처리
│ ├─ pipelines/ # 고급 Pipeline 클래스(추론 및 스트리밍)
│ ├─ reasoning/ # 오디오, 일반, 공간 추론 모듈
│ ├─ representations/ # 포인트 클라우드, 시뮬레이션 환경 유틸리티
│ └─ synthesis/ # 오디오, 시각, VLA 생성 모듈
├─ submodules/ # 서드파티 도구(예: diff-gaussian-raster)
├─ test/ & test_stream/ # 단위 테스트 및 대화형 데모
└─ tools/vibe_code/ # 빠른 기여를 위한 프롬프트
개발자는 일반적으로 파이프라인을 인스턴스화하고 단일 턴에는 pipeline(input), 대화형 상호작용에는 pipeline.stream()을 호출합니다. memory 구성 요소가 이전 턴을 추적합니다.
문서 및 커뮤니티
- 설치 가이드 –
docs/installation.md에 메서드별 종속성이 자세히 설명되어 있습니다. - 계획 및 로드맵 –
docs/planning.md에 단기 목표와 향후 학습/최적화 작업이 나열되어 있습니다. - 선별된 리소스 –
docs/awesome_world_model.md에 논문, 설문 조사, 관련 오픈소스 프로젝트가 모여 있습니다. - 기여 – 저장소는 새로운 세계 모델 방법을 추가하거나 선별 목록을 업데이트하는 풀 리퀘스트를 권장합니다. "Vibe Coding" 프롬프트 라이브러리(
tools/vibe_code/prompts)는 기여자가 보일러플레이트 코드를 빠르게 생성하는 데 도움이 됩니다.
관련 프로젝트 – OpenWorldLib는 OpenDCAI의 DataFlow 및 DataFlow-MM 프레임워크를 기반으로 하며 RayOrch 및 Paper2Any와 협력합니다.
라이선스 – 이 프로젝트는 저장소의 LICENSE 파일(표준 오픈소스, README의 배지 참조)에 따라 릴리스됩니다.
인용 – 라이브러리를 사용하는 경우 README에 나열된 두 개의 arXiv 논문(2026 arXiv:2604.04707 및 arXiv:2602.01630)을 인용하십시오.
OpenWorldLib는 비디오, 3D, 언어 모달리티 전반에 걸쳐 인식, 기억, 추론, 생성을 결합한 차세대 세계 모델을 구축하거나 평가하는 모든 사람을 위한 필수 도구 상자가 되는 것을 목표로 합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트