a312863063/Video-Auto-Wipe

何を解決するか

このプロジェクトは、字幕、ロゴ、アニメーションアイコンなどの不要な固定パターンのコンテンツを自動的に削除し、欠落した領域を埋めて動画の外観を復元する方法を提供します。

動作方法

システムは2段階の学習プロセスを使用します。まず、時間的認識学習により、削除対象の前景要素（前景）をモデルが識別できるようにします。その後、この情報をエラージョンモデルに統合し、エンドツーエンドの微調整を行います。

異なる種類のコンテンツには、それぞれ異なる検出方法を使用します：

• 字幕：一貫したテキストスタイルを持つ領域を認識することで識別。
• ロゴ：時間的に静止したピクセルブロックを検出することで識別。
• 動的アイコン：ちらつきや動的に移動する固定ピクセルブロックを検出することで識別。

対象ユーザー

手動マスクなしで、動画の目障りなオーバーレイ、字幕、透かしをクリーンアップしたいユーザー。

特徴

• 自動検出：手動入力ではなく、自動的に字幕やロゴの位置を認識。
• 時間的一貫性：時間的検索と補完機能を活用して、詳細とテキストのない領域を復元。
• カスタム学習データ：3,000以上の映画およびバラエティ番組のクリップと合成された前景オーバーレイを用いたデータセットで構築。