OpenEnvision/WorldFoundry

해결하는 문제

WorldFoundry는 세계 모델 개발, 실행, 평가를 위한 통합 인프라를 제공합니다. 모델 리포지토리의 분산된 구조를 제거하고, 동영상 생성, 3D/4D 표현, 몸체화된 AI 행동과 같은 다양한 모달리티에서 추론, 자산 관리, 벤치마크 평가를 위한 공유 스택을 제공합니다.

작동 방식

이 프로젝트는 세계 모델을 "모델 동물원"으로, 벤치마크를 "벤치마크 동물원"으로 정리하고 표준화된 카탈로그 시스템을 사용합니다. 다양한 인터페이스를 제공하여 상호작용을 가능하게 합니다:

• 추론 인터페이스: 사용자는 터미널 사용자 인터페이스(TUI), 명령줄 인터페이스(CLI), 또는 브라우저 기반의 스튜디오 워크스페이스를 통해 아티팩트를 생성할 수 있습니다.
• 런타임: 모델 아키텍처와 추론 어댑터는 프로젝트 내부에 "인트리"로 유지되며, 대규모 체크포인트와 데이터셋은 로컬 또는 Hugging Face를 통해 스테이징됩니다.
• 평가 파이프라인: 평가 러너는 모델-벤치마크 쌍을 실행하고 결과를 가져와 정규화된 스코어카드를 생성하여 성능 주장의 타당성을 검증합니다.
• 최적화: FlashAttention, xFormers, 양자화와 같은 다양한 가속 백엔드를 지원하며, 인증된 품질과 성능 향상을 추적하기 위한 내장된 "진실 행렬"을 제공합니다.

대상 사용자

• AI 연구자: 세계 모델, 동영상 생성, 몸체화된 지능에 종사하며 모델 실행 및 비교를 위한 표준화된 방법이 필요한 사람.
• ML 엔지니어: 인터랙티브 월드 또는 VLA(Vision-Language-Action) 정책을 개발하는 개발자.
• 모델 평가자: 형식적인 스코어카드를 포함한 엄격하고 재현 가능한 벤치마크 결과가 필요한 사용자.

주요 특징

• 포괄적인 모달리티 지원: 동영상, 3D/4D, 몸체화된 행동 모델을 모두 커버합니다.
• 통합 워크스페이스: 추론 작업 관리 및 아티팩트 검토를 위한 브라우저 기반 스튜디오 제공.
• 통합 벤치마크 평가: 벤치마크를 실행하고 자격 검증된 스코어카드를 생성하는 공식 시스템.
• 유연한 추론: 동일한 기반 모델 런타임에 대해 TUI, CLI, 스튜디오 인터페이스를 모두 지원합니다.
• 하드웨어 가속: GPU 성능을 최적화하기 위한 고급 커널과 양자화를 내장 지원합니다.