google-deepmind/physics-IQ-benchmark

해결하는 문제

Physics-IQ는 생성형 비디오 모델이 물리 법칙을 실제로 이해하고 있는지 여부를 평가하는 어려움을 해결합니다. 이는 시각적으로 타당해 보이지만 물리적으로 잘못된 시퀀스를 생성하는지 여부를 판단하는 데 도움을 줍니다. 현실적인 물리 현상을 시뮬레이션할 수 있는 능력을 측정하기 위한 표준화되고 고품질의 벤치마크를 제공합니다.

작동 방식

이 프로젝트는 다양한 물리적 사건을 촬영한 실제 영상(렌더링되지 않은)으로 구성된 포괄적인 데이터셋을 제공합니다. 원본 Physics-IQ와 개선된 프롬프트 및 메트릭을 갖춘 '검증됨(Verified)' 버전의 두 가지 버전이 있습니다. 벤치마크는 다양한 시나리오(중력, 유체 역학, 충돌, 자성 등)에서 생성형 모델의 출력을 실제 영상과 비교하여 모델을 테스트합니다. 각 시나리오는 자연스러운 물리적 변동을 반영하기 위해 여러 각도에서 촬영되고 여러 번 기록됩니다.

대상 사용자

생성형 비디오 모델을 개발하는 연구자 및 개발자로, 모델의 물리적 정확도를 엄격하게 측정하고 다른 최전방 모델들과의 랭킹을 추적할 필요가 있는 사람들에게 적합합니다.

주요 특징

• 실제 세계 데이터: 합성 렌더링이 아닌 고품질 카메라 촬영 데이터를 사용합니다.
• 광범위한 물리적 범위: 충돌, 유체 역학, 중력, 재료 특성, 빛, 그림자, 자성 등을 포함합니다.
• 고해상도: 영상은 4K 해상도(3840×2160)로 30프레임/초 속도로 촬영됩니다.
• 다각도 촬영: 각 시나리오는 세 가지 다른 각도에서 촬영되어 신뢰성과 견고성을 보장합니다.