jianjieyiban/JJYB_AI_VideoAutoCut

해결하는 문제

JJYB AI VideoAutoCut는 영상 제작 과정에서 여러 도구를 전환해야 하는 번거로움을 없애기 위해 설계된 로컬 퍼스트 AI 영상 제작 워크스테이션입니다. 원본 소재 분석 및 대본 작성부터 음성 생성, 오디오-비주얼 동기화 및 최종 내보내기에 이르기까지 전체 워크플로우를 간소화합니다.

작동 방식

이 프로젝트는 여러 AI 기반 엔진과 도구를 단일 데스크톱 애플리케이션(Flask + PyWebView)으로 통합합니다:

• 오리지널 코멘터리 워크플로우: SmartShotSegmenter(TransNetV2 또는 OpenCV 경유)를 사용한 장면 탐지, 다양한 스타일의 대본 생성을 위한 LLM/VLM, 그리고 가짜 프리즈 프레임을 사용하지 않고 비디오 클립을 생성된 오디오에 맞추는 PuppetSyncEngine을 사용합니다.
• 스마트 리믹싱: 클립 점수에 기반한 일반 모드와 librosa를 사용하여 BGM 리듬에 맞춰 컷을 동기화하는 뮤직 비트 모드를 제공합니다.
• AI 음성 및 클로닝: 다양한 TTS 엔진(Edge TTS, Azure 등)과 IndexTTS2 워커를 통한 로컬 음성 클로닝을 지원합니다.
• AI 커버 생성: 다양한 이미지 생성 API(DALL-E 3 등)에 연결하여 비디오 썸네일을 생성합니다.
• 통합: FFmpeg를 통해 렌더링하며, 추가적인 수동 편집을 위해 CapCut(剪映) 네이티브 초안 형식으로 원클릭 내보내기를 지원합니다.

대상 사용자

장면 분할, 대본 작성, 오디오-비주얼 동기화와 같은 영상 편집 과정의 지루한 부분을 자동화하면서도 데이터에 대한 로컬 제어권을 유지하고자 하는 영상 크리에이터 및 콘텐츠 제작자.

주요 특징

• 엔드 투 엔드 워크플로우: 소재 분석부터 최종 내보내기까지 모든 과정을 하나의 도구에서 처리합니다.

• 인간과 유사한 동기화: 단순한 패딩이 아닌 실제 타임라인을 기반으로 클립을 오디오에 맞추는 전용 엔진.

• CapCut 통합: 비디오, 오디오, BGM 및 자막 트랙을 포함한 네이티브 초안 내보내기.

• 광범위한 스타일 프리셋: AI 생성 대본의 톤을 맞추기 위한 12가지 내러티브 스타일과 라이팅 페르소나 포함.

• 로컬 퍼스트 접근 방식: 개인정보 보호와 속도를 위해 SQLite 및 로컬 AI 워커를 사용하여 로컬 처리 및 저장을 우선시합니다.