UVA-Computer-Vision-Lab/OmniShotCut

해결하는 문제

OmniShotCut은 애니메이션, 블로그, 게임, 스포츠 등 다양한 동영상 소스에서의 쇼트 경계 검출(SBD) 문제를 해결하기 위해 설계되었습니다. 특히 갑작스러운 점프 컷과 서서히 변하는 전환(디졸브, 페이드, 와이프 등)을 정확히 식별하는 문제를 해결하며, 지속적인 카메라 움직임이나 조명 변화로 인한 오류 검출을 줄입니다.

작동 방식

이 프로젝트는 쇼트 쿼리 기반의 비디오 트랜스포머를 구현합니다. 이 아키텍처는 비디오 프레임 내의 관계적 패턴을 인식하여 실제 쇼트 변경과 시각적 노이즈를 구분할 수 있게 해줍니다. pip를 통해 파이썬 라이브러리로 배포 가능하며, 비디오 파일, 넘파이 배열, 또는 토치 텐서에서 추론을 지원합니다.

대상 사용자

이 도구는 동영상 처리, 동영상 편집 자동화, 동영상 기반 AI 모델(예: 월드 모델 사전 훈련 또는 파인튜닝 데이터 준비)의 데이터 정제에 종사하는 개발자 및 연구자에게 적합합니다.

주요 특징

• 광범위한 호환성: 스크린 녹화, 숏츠, 애니메이션 등 다양한 콘텐츠 유형에서 작동 가능.
• 홀로그램식 탐지: 깨끗한 컷과 복잡한 전환(디졸브, 페이드, 와이프) 모두 탐지 가능.
• 강건성: v1.5 모델은 스트로보 조명이나 카메라 움직임으로 인한 오류 컷을 특별히 줄입니다.
• 유연한 입력: 비디오 파일 또는 원시 텐서/넘파이 프레임 데이터를 직접 처리 가능.