google-deepmind/physics-IQ-benchmark

Physics‑IQ 및 Physics‑IQ Verified – 생성형 동영상 모델을 위한 벤치마크

무엇인가요 – 4K @ 30 fps의 고품질 실세계 영상 데이터셋으로, 충돌, 유체, 중력, 자성, 빛 등 다양한 물리 현상을 세 가지 카메라 각도에서 촬영하고 각 시나리오당 두 번의 기록을 포함합니다. 이 리포지토리는 두 가지 버전의 벤치마크에 대한 평가 워크플로우를 제공합니다:

Physics‑IQ – 원본 출시 버전.
Physics‑IQ Verified – 개선된 버전으로, 더 나은 프롬프트, 마스크, 스코어링(권장됨).

왜 중요한가요 – 생성형 동영상 모델(텍스트에서 동영상, 동영상에서 동영상 등)은 점점 더 강력해지고 있지만, 생성된 동영상이 물리 법칙을 따르는지 테스트할 표준적인 방법이 없습니다. 이 벤치마크는 현실적인 테스트 세트와 재현 가능한 스코어링 파이프라인을 제공하여 모델 간 공정한 비교를 가능하게 합니다.

사용 방법

데이터 다운로드 – Hugging Face 허브(Anates‑Labs‑Research/Physics‑IQ‑Verified)에서 데이터를 다운로드합니다. 데이터셋에는 다음이 포함됩니다:
- full‑videos/ – 원본 5초 클립.
- split‑videos/testing/ – V2V 모델용으로 조건부 및 타겟 부분으로 분할된 동일한 클립.
- switch‑frames/ – I2V 모델용 시드로 사용되는 단일 프레임 이미지.
- video‑masks/real/ – 스코어링 메트릭에 필요한 진짜 마스크.
환경 설정 – 최신 uv 도구(uv sync) 또는 pip(pip install .)를 사용합니다. Linux + ffprobe가 필요합니다.
프롬프트 템플릿 선택 – 벤치마크는 두 가지 프롬프트 스타일을 지원합니다:
- bpp (best‑practice‑prompt) – descriptions/best_practice/ 내의 템플레이터로 생성된 모델 전용 프롬프트.
- op (original prompt) – 원본 데이터셋의 원시 프롬프트. 사용자 고유 모델용 새 CSV를 생성하려면 uv run physiq/generate_descriptions.py <model_name>를 실행합니다.
동영상 생성 –
- I2V 모델: switch‑frames/의 단일 프레임과 선택한 설명 CSV를 입력합니다.
- V2V 모델: split‑videos/conditioning‑videos/의 조건부 동영상(옵션으로 설명 CSV 포함)을 입력합니다. 각 출력 동영상을 벤치마크 ID 접두사(0001_… .mp4)로 저장합니다.
실행 정리 – 각 모델 실행마다 <model>-<prompt_setting>-run_<01‑04>라는 이름의 폴더를 만듭니다. 통계적으로 신뢰할 수 있는 리더보드 점수를 얻기 위해 4회의 독립적인 실행을 권장합니다.
5초로 자르기 – 평가 전에 생성된 모든 클립이 정확히 5초여야 합니다.
스코어러 실행 – physiq/run_physics_iq.py를 실행합니다(또는 동등한 엔트리포인트). 이 스크립트는 생성된 동영상과 진짜 마스크를 비교하여 퍼센트 점수(100 % = 완벽한 물리적 현실성)를 반환합니다.
리더보드 제출 – 결과를 표시하고 싶다면, 풀 리퀘스트로 마크다운 테이블에 행을 추가하세요.

리더보드 – README에는 현재 점수가 나와 있습니다(예: Magi‑1 24B + GeoPhys ≈ Verified 벤치마크에서 58 %, Cosmos3‑Super ≈ 39 %). 점수는 4회의 실행에 대한 평균 ± 표준편차로 보고됩니다.

인용 및 라이선스 – 프로젝트는 허용적인 라이선스(라이선스 섹션 참조)로 배포되며, 결과를 발표할 때는 관련 arXiv 보고서를 인용해 주시기 바랍니다.

결론 – Physics‑IQ Verified는 연구자들이 즉시 사용할 수 있는 실세계 동영상 세트와 재현 가능한 평가 스크립트를 제공하여 생성형 동영상 모델이 물리 법칙을 얼마나 잘 이해하고 존중하는지 측정할 수 있도록 합니다. 이는 AI 생성 동영상 분야에서 진정한 커뮤니티 중심의 벤치마크입니다.