a312863063/Video-Auto-Wipe

Video-Auto-Wipe는 영상에서 원치 않는 고정 패턴 콘텐츠(특히 자막, 정적 로고, 동적/애니메이션 아이콘)를 자동으로 제거하기 위한 딥러닝 프로젝트입니다. 이는 본격적인 컴퓨터 비전 / 영상 인페인팅 프로젝트입니다.

기능: 이 모델은 영상 프레임에서 특정 유형의 시각적 노이즈를 자동으로 감지하고 지웁니다. 통일된 텍스트 스타일로 자막을, 시간이 지나도 움직이지 않는 픽셀로 정적 로고를, 깜빡이거나 움직이는 고정 픽셀 블록으로 동적 아이콘을 식별합니다. 현재 자막 제거 모델은 오픈 소스로 공개되어 있으나, 로고 및 동적 아이콘 제거 모델은 데모만 제공되며 아직 배포되지 않았습니다.

작동 원리: 학습 과정은 2단계 접근 방식을 사용합니다. 첫째, 모델은 시간 도메인에서 대상 전경(예: 자막)을 인식하도록 학습합니다. 둘째, 이 인식 모듈을 제거(인페인팅) 모델에 통합하여 엔드투엔드 미세 조정을 수행합니다. 학습 데이터를 생성하기 위해 작성자는 합성 전경을 만들었습니다. Python의 ImageDraw 라이브러리를 사용하여 무작위 텍스트와 픽셀 블록을 생성하고, Adobe Premiere Pro를 사용하여 동적 효과를 만든 뒤, 이를 실제 영상 배경(영화 클립 2,709개 및 예능 프로그램 클립 864개)에 겹쳤습니다.

주요 특징:

• 사전 학습된 가중치와 간단한 demo.py 스크립트가 포함된 오픈 소스 자막 제거 모델.
• 정적 및 동적 로고의 효과적인 제거를 시연(단, 해당 특정 가중치는 공유되지 않음).
• 배경 및 전경 생성을 위한 대규모 합성 학습 데이터셋 제공.

기술 스택:

• Python, PyTorch (torch>1.0 필요)
• 합성 데이터 생성을 위한 ImageDraw

대상 독자: 영상 편집, 컴퓨터 비전, 영상 인페인팅 또는 AIGC (AI-Generated Content) 도구에 관심이 있는 개발자 및 연구자.

주요 제한 사항:

• 자막 제거 모델만 오픈 소스로 공개되었으며, 로고 및 동적 아이콘 모델은 공개되지 않았습니다.
• 사전 학습된 가중치와 데이터셋은 바이두 왕판(Baidu Pan)에 호스팅되어 있습니다.
• README에 정확한 의존성 설치 지침이 거의 없습니다(필요에 따라 누락된 패키지를 설치하는 것이 권장됨).