Endless1936/book-video

A natural-language workflow for creating atmospheric short book videos with AI-generated visuals, HyperFrames, GSAP animation, voiceover timing, subtitles, and BGM.

해결하는 문제

이 프로젝트는 자연어 명령을 사용하여 도서 홍보용 숏폼 영상을 제작하기 위한 자동화된 워크플로우를 제공합니다. 도서 선정, 카피라이팅, 시각 자료 생성, 오디오 동기화 과정을 간소화하여 최종 영상 결과물을 만들어냅니다.

작동 방식

사용자는 자연어를 통해 AI 에이전트(Codex)와 상호작용하며 영상 제작 과정을 안내합니다. 워크플로우는 다음 단계를 따릅니다:

  1. 도서 선정: 에이전트가 도서를 추천하거나 특정 제목을 확인합니다.
  2. 카피라이팅: 에이전트가 CapCut (剪映)에서 사용하거나 로컬에 저장할 수 있는 내레이션 스크립트를 생성합니다.
  3. 시각 자료: 스크립트가 승인되면 에이전트가 분위기에 맞는 이미지와 영상 프레임을 생성합니다.
  4. 오디오: 에이전트는 음성 복제(지원되는 경우)를 사용하거나 CapCut에서 MP3 파일을 가져옵니다.
  5. 자막: FFmpeg를 사용하여 자막 타이밍 참조를 생성하고, 스크립트를 텍스트의 진실된 소스로 사용합니다. Whisper는 TTS 콘텐츠 확인용으로만 사용됩니다.
  6. 반복적 개선: 사용자는 텍스트, 이미지, 오디오 변경을 요청할 수 있으며, 에이전트가 특정 부분을 다시 생성합니다.

시스템은 상태 파일(workflow-state.json)을 유지하여 각 에피소드의 진행 상황과 종속성을 추적하며, 오류 발생 시 프로세스를 복구하고 수정할 수 있도록 합니다.

대상 사용자

코딩을 하거나 복잡한 편집 소프트웨어를 수동으로 다룰 필요 없이 고품질의 숏폼 영상을 제작하고자 하는 콘텐츠 크리에이터 및 도서 홍보 담당자.

주요 특징

  • 자연어 인터페이스: 대화형 AI를 통해 완전히 제어 가능.
  • 강력한 오류 처리: 진단 시스템(BOOK_VIDEO_DIAGNOSTIC)을 포함하여 잘못된 출력이 유효한 영상을 덮어쓰는 것을 방지.
  • 상태 관리: 도서별 제작 상태를 추적하여 에셋의 재구성이나 수정을 용이하게 함.
  • 통합 도구: 이미지 생성, TTS, FFmpeg, Whisper를 결합한 완전한 제작 파이프라인.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트