OpenEnvision/WorldFoundry

무엇이 문제를 해결하나요

WorldFoundry는 월드 모델을 개발, 실행 및 평가하기 위한 통합 인프라를 제공합니다. 비디오 생성, 3D/4D 표현 및 구현 AI 행동 정책과 같은 다양한 모달리티에 걸쳐 분산된 환경, 자산 스테이징 및 벤치마크 레이아웃을 관리하는 마찰을 제거합니다.

어떻게 작동하나요

이 프로젝트는 모델 아키텍처와 추론 어댑터를 실제 체크포인트 및 데이터셋에서 분리하는 공유 스택을 구현합니다. Conda를 통해 통합된 GPU 환경을 사용하여 여러 모델을 처리하면서 다음과 같은 여러 상호작용 인터페이스를 제공합니다:

• TUI/CLI: 모델과 벤치마크를 선택하고 실행 가능한 명령을 생성하는 인터랙티브 피커입니다.
• Studio: 추론 작업을 관리하고 아티팩트를 검토하는 브라우저 기반 UI입니다.
• 평가 러너: 모델-벤치마크 쌍을 실행하고 표준화된 점수표를 생성하는 시스템입니다.
• 트리 내 런타임: 다양한 통합 모델에 걸쳐 일관된 추론 경로를 허용하는 통합 합성 및 파이프라인 모듈입니다.

누구를 위해 설계되었나요

월드 모델, 비디오 생성 및 구현 지능 분야에서 작업하는 연구자와 개발자를 위해 설계되었습니다. 다른 모델과 벤치마크를 비교하기 위해 추론을 실행하고 모델을 표준화된 방식으로 평가해야 하는 분들에게 적합합니다.

주요 특징

• 광범위한 모델 동물원: Wan, HunyuanVideo, LTX2, Cosmos 및 다양한 VLA/행동 정책(예: OpenVLA, Octo)을 포함한 광범위한 모델을 통합합니다.
• 통일 백엔드: FlashAttention 2/3, SageAttention, xFormers와 같은 고급 주의 백엔드 및 NVFP4 양화를 지원합니다.
• 유연한 자산 관리: 네이티브 Hugging Face Hub 로딩 및 로컬 체크포인트 스테이징을 지원합니다.
• 벤치마크 허브: LaryBench 및 WorldReasonBench와 같은 벤치마크를 위한 매니페스트 카탈로그 및 공식 러너 제약을 포함합니다.
• 멀티 GPU 지원: A100, H100과 같은 고성능 하드웨어를 위한 컨텍스트/시퀀스 병렬 처리 및 고급 메모리 관리를 특징으로 합니다.