UVA-Computer-Vision-Lab/OmniShotCut

解决的问题

OmniShotCut 旨在解决来自多种视频源（包括动漫、vlog、游戏和体育）的镜头边界检测（SBD）问题。它特别针对准确识别突然的跳切和渐变过渡（如溶解、淡入淡出和划像）的挑战，同时减少由持续的摄像机运动或光照变化引起的误报。

工作原理

该项目实现了基于镜头查询的视频 Transformer 架构。该架构使模型能够识别视频帧中的关系模式，以区分实际的镜头变化与视觉噪声。它可通过 pip 作为 Python 库部署，并支持对视频文件、numpy 数组或 torch 张量进行推理。

适用人群

此工具适用于从事视频处理、视频编辑自动化以及视频驱动型 AI 模型数据整理的研究人员和开发者（例如用于世界模型预训练或微调数据准备）。

主要亮点

• 广泛兼容性：适用于屏幕录制、短视频和动漫等多种内容类型。
• 全息检测：可检测干净的切口和复杂的过渡（如溶解、淡入淡出、划像）。
• 鲁棒性：v1.5 模型特别减少了由频闪光或摄像机移动引发的误切口。
• 灵活输入：支持直接处理视频文件或原始张量/numpy 帧数据。