autoclip: YouTube와 Bilibili 동영상에서 하이라이트를 추출하고 컬렉션을 생성하는 AI 기반 자동화 도구

해결하고자 하는 문제

AutoClip은 긴 동영상에서 짧은 형태의 콘텐츠를 만드는 번거로운 과정을 자동화합니다. 영상에서 하이라이트를 찾기 위해 수동으로 스크러빙하고, 클립을 직접 잘라내며, YouTube와 Bilibili와 같은 플랫폼용 컬렉션으로 정리해야 하는 필요성을 없애줍니다.

작동 방식

시스템은 비디오 다운로드 도구와 대형 언어 모델(LLM)을 결합하여 콘텐츠를 처리합니다:

1. Ingestion: YouTube 또는 Bilibili에서 동영상과 자막을 다운로드하거나 로컬 업로드를 받습니다.
2. AI Analysis: Qwen(통이 치안원) LLM을 사용해 자막과 콘텐츠를 분석하고, 영상 개요를 도출하며, 주요 토픽 타임스탬프를 식별하고, 특정 구간의 "흥미도" 혹은 품질을 점수화합니다.
3. Processing: AI가 식별한 타임스탬프를 기반으로 자동으로 영상을 클립으로 자르고, 각 구간에 매력적인 제목을 생성합니다.
4. Management: 웹 인터페이스를 제공해 클립을 검토하고, 정렬을 수동으로 조정하며, AI가 추천하는 컬렉션으로 그룹화할 수 있습니다.

대상 사용자

긴 형태의 영상을 빠르게 바이럴 짧은 클립이나 큐레이션된 하이라이트 릴로 전환하고자 하는 콘텐츠 제작자, 소셜 미디어 매니저, 영상 편집자.

주요 특징

• 다중 플랫폼 지원: YouTube와 Bilibili에 대한 통합 다운로드 기능.
• AI 기반 클리핑: LLM을 활용해 하이라이트를 자동으로 식별하고 구간을 점수화.
• 비동기 파이프라인: Celery와 Redis를 사용해 무거운 영상 처리 작업을 백그라운드에서 수행하고, WebSocket을 통한 실시간 진행 상황 업데이트 제공.
• 풀스택 관리: 프로젝트 관리, 클립 편집, 컬렉션 조직을 위한 React 기반 대시보드 포함.