a312863063/Video-Auto-Wipe
Erase specific content from the video that you don't wanna see
Video-Auto-Wipe 是一个深度学习项目,用于自动从视频中移除不需要的固定模式内容,特别是字幕、静态标志和动态/动画图标。这是一个真正的计算机视觉 / 视频修复项目。
功能说明: 该模型可自动检测并消除视频帧中特定类型的视觉噪声。它通过统一的文字样式识别字幕,通过长时间保持静止的像素识别静态标志,并通过闪烁或移动的固定像素块识别动态图标。该项目目前开源了 字幕移除 模型,而标志和动态图标移除模型仅供展示,尚未发布。
运作原理: 训练过程采用两阶段方法。首先,模型在时域中训练以感知目标前景(例如字幕)。其次,将此感知模块融合到一个消除(修复)模型中进行端到端微调。为了产生训练数据,作者建立了合成前景——使用 Python 的 ImageDraw 库产生随机文字和像素块,并使用 Adobe Premiere Pro 制作动态效果——并将它们叠加在真实视频背景(2,709 个电影剪辑和 864 个综艺节目剪辑)上。
主要特色:
- 开源字幕移除模型,包含预训练权重和简单的
demo.py脚本。 - 展示了对静态和动态标志的有效消除(尽管未共享这些特定权重)。
- 提供用于背景和前景产生的大型合成训练数据集。
技术堆栈:
- Python, PyTorch (需要
torch>1.0) - ImageDraw 用于合成数据产生
目标受众: 对视频编辑、计算机视觉、视频修复或 AIGC (AI-Generated Content) 工具感兴趣的开发者和研究人员。
显著限制:
- 仅开源了字幕移除模型;标志和动态图标模型未开源。
- 预训练权重和数据集托管在百度网盘上。
- README 对于确切的依赖安装说明较少(建议根据需要安装缺失的包)。
相关
- 项目
- 项目
- 项目
- 项目
- 项目