google-deepmind/physics-IQ-benchmark

它解决了什么问题

Physics-IQ 解决了评估生成式视频模型是否真正理解物理定律的难题，而不是仅仅生成视觉上合理但物理上不正确的序列。它提供了一个标准化、高质量的基准，用于衡量模型模拟真实物理现象的能力。

它如何工作

该项目提供了一个全面的真实世界视频数据集（非渲染），捕捉了各种物理事件。它提供两个版本：原始的 Physics-IQ 和一个经过改进提示和度量标准的「验证版」。该基准通过将模型生成的输出与这些真实世界视频在多种场景下的表现进行对比来测试模型，涵盖重力、流体动力学、碰撞和磁力等场景。每个场景从多个视角拍摄，并多次录制，以考虑自然的物理变化。

适用于谁

需要一种严格方法来量化其模型物理准确性的研究人员和开发者，以及希望跟踪其模型在与其他前沿模型排行榜对比时进展的用户。

主要亮点

• 真实世界数据：使用高质量的摄像机捕捉，而非合成渲染。
• 广泛的物理范围：涵盖碰撞、流体动力学、重力、材料特性、光、阴影和磁力。
• 高保真度：视频以 4K 分辨率（3840×2160）和每秒 30 帧的速度录制。
• 多视角：每个场景从三个不同角度拍摄，以确保鲁棒性。