a312863063/Video-Auto-Wipe

Erase specific content from the video that you don't wanna see

Video-Auto-Wipe 是一个深度学习项目,用于自动从视频中移除不需要的固定模式内容,特别是字幕、静态标志和动态/动画图标。这是一个真正的计算机视觉 / 视频修复项目。

功能说明: 该模型可自动检测并消除视频帧中特定类型的视觉噪声。它通过统一的文字样式识别字幕,通过长时间保持静止的像素识别静态标志,并通过闪烁或移动的固定像素块识别动态图标。该项目目前开源了 字幕移除 模型,而标志和动态图标移除模型仅供展示,尚未发布。

运作原理: 训练过程采用两阶段方法。首先,模型在时域中训练以感知目标前景(例如字幕)。其次,将此感知模块融合到一个消除(修复)模型中进行端到端微调。为了产生训练数据,作者建立了合成前景——使用 Python 的 ImageDraw 库产生随机文字和像素块,并使用 Adobe Premiere Pro 制作动态效果——并将它们叠加在真实视频背景(2,709 个电影剪辑和 864 个综艺节目剪辑)上。

主要特色:

  • 开源字幕移除模型,包含预训练权重和简单的 demo.py 脚本。
  • 展示了对静态和动态标志的有效消除(尽管未共享这些特定权重)。
  • 提供用于背景和前景产生的大型合成训练数据集。

技术堆栈:

  • Python, PyTorch (需要 torch>1.0)
  • ImageDraw 用于合成数据产生

目标受众: 对视频编辑、计算机视觉、视频修复或 AIGC (AI-Generated Content) 工具感兴趣的开发者和研究人员。

显著限制:

  • 仅开源了字幕移除模型;标志和动态图标模型未开源。
  • 预训练权重和数据集托管在百度网盘上。
  • README 对于确切的依赖安装说明较少(建议根据需要安装缺失的包)。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目