NarratoAI: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

NarratoAI는 영화 및 TV 쇼 해설 영상을 제작하기 위한 원스톱 자동화 도구입니다. 스크립트 작성, 비디오 클립 편집, 음성 생성, 자막 추가 프로세스를 간소화하여 콘텐츠 제작자가 고품질 해설 영상을 제작하는 데 필요한 수동 작업을 줄여줍니다.

작동 방식

이 도구는 대규모 언어 모델(LLMs)과 시각-언어 모델을 활용하여 제작 파이프라인을 자동화합니다. 스크립트 작성을 위해 LLMs를 사용하며, 프레임을 분석하고 하이라이트를 선택하기 위해 비디오 이해(Qwen2-VL 또는 TwelveLabs Pegasus와 같은 모델 활용)를 수행합니다. 음성 생성을 위해 다양한 Text-to-Speech (TTS) 엔진을 통합하고, 자막을 위한 자동 전사(예: Fun-ASR 사용)를 포함합니다.

대상 사용자

영화/TV 쇼 리뷰, 짧은 드라마 요약, 자동화된 비디오 스토리텔링을 전문으로 하는 콘텐츠 제작자, 유튜버 및 소셜 미디어 인플루언서.

주요 특징

• End-to-End 자동화: 단일 워크플로우 내에서 스크립트 작성, 클리핑, 음성 생성 및 자막 생성을 자동화합니다.
• 비디오 이해: 지능적인 비디오 분석 및 하이라이트 선택을 위해 Qwen2-VL 및 TwelveLabs Pegasus와 같은 고급 모델을 지원합니다.
• 숏폼 드라마 지원: 숏폼 드라마 해설 및 믹스컷 편집에 최적화되어 있습니다.
• 유연한 배포: macOS용 Docker 이미지, Windows 통합 패키지 또는 로컬 Python 설치를 통해 사용할 수 있습니다.
• 음성 복제: IndexTTS-1.5 및 기타 TTS 엔진을 통한 음성 복제를 지원합니다.
• CapCut 통합: 추가적인 수동 편집을 위해 초안을 CapCut (剪映)으로 내보내는 기능을 지원합니다.