linyqh/NarratoAI

NarratoAI – AI 기반 영상 내레이션 및 자동 편집

이것이 무엇인가 – 원본 영상 푸티지를 내레이션이 포함된 짧은 영상으로 변환해 주는 오픈소스 데스크톱/웹 앱입니다. 스크립트 생성을 위한 대규모 언어 모델(LLM), 음성 합성(TTS) 엔진, 자동 자막 생성, 간단한 영상 편집 파이프라인을 하나로 연결합니다. 전체 흐름은 로컬(또는 호스팅된 클라우드 버전)에서 실행되며 Streamlit UI를 통해 제어됩니다.

주요 기능

스크립트 작성 – LLM(예: GLM-5.3, Kimi-K3, DeepSeek, MiniMax, Doubao, Qwen2-VL)에 프롬프트를 입력하여 주어진 영상이나 주제에 대한 내레이션 스크립트를 생성합니다.
자동 컷 편집 – 핵심 프레임을 추출하고 하이라이트를 선택하여 트리밍된 영상 클립을 조합합니다.
음성 해설 – IndexTTS-1.5/2(Apple Silicon용 MLX), OmniVoice, Tencent Cloud TTS 등을 포함한 여러 TTS 백엔드를 지원합니다. 음성 복제도 가능합니다.
자막 생성 – 통합 ASR(Fun-ASR)이 자막을 생성하며 미리 보고 편집할 수 있습니다.
AI 생성 배경 음악 – 선택적으로 Sonilo AI 음악 트랙을 사용할 수 있습니다.
내보내기 – 최종 영상 파일 또는 중국 편집기 “剪映”용 드래프트를 출력할 수 있습니다.

설치 옵션

올인원 패키지 – Windows x64 또는 macOS Apple Silicon용 사전 빌드 zip을 다운로드하고 update-*.bat/.command를 실행한 후 start-*.bat/.command를 실행합니다. UI는 http://127.0.0.1:8501에서 열립니다.
Docker(macOS) – 리포지토리를 클론한 후 docker compose up -d를 실행합니다.

소스에서 –

git clone https://github.com/linyqh/NarratoAI.git
cd NarratoAI
uv sync                     # 의존성 설치
cp config.example.toml config.toml
# config.toml에 API 키를 입력하세요
uv run streamlit run webui.py --server.maxUploadSize=2048

그런 다음 동일한 localhost 주소를 엽니다.

일반적인 작업 흐름

소스 영상을 업로드하거나 앱에 연결합니다.
언어 모델을 선택하고(또는 앱이 최적의 모델을 선택하도록 두고) 내레이션 스크립트를 생성합니다.
TTS 엔진을 선택하고, 필요한 경우 음성 복제를 위한 참조 음성을 제공합니다.
자동 컷 앤 병합 단계를 실행합니다. 앱은 ASR을 실행하여 자막도 생성합니다.
필요한 경우 스크립트, 자막 또는 타이밍을 검토/편집합니다.
완성된 영상 또는 추가 편집용 드래프트를 내보냅니다.

하드웨어 및 소프트웨어 요구 사항

CPU 4코어 이상, 8GB RAM(GPU는 선택 사항).
Windows 10/11 또는 macOS 11+.
Python 3.12+(소스에서 실행하는 경우).

커뮤니티 및 지원

공식 위키, Discord, GitHub 커뮤니티 페이지에서 공지사항을 확인할 수 있습니다.
빈번한 릴리스(최신 v0.8.6은 Apple Silicon TTS 엔진과 OmniVoice 팩을 추가).
Volcengine, APIMart, SiliconFlow에 대한 스폰서 링크는 영상 이해 및 TTS용 저비용 API 크레딧을 제공합니다.

라이선스 – 리포지토리의 LICENSE 파일을 참조하세요(표준 오픈소스 라이선스, README에는 세부 사항이 명시되지 않음).

결론 – NarratoAI는 LLM 기반 스크립트 생성, 다중 엔진 TTS, ASR, 영상 편집을 하나의 쉽게 실행할 수 있는 패키지로 통합한 진정하고 활발히 유지 관리되는 AI 도구로, 자동화된 영화 스타일 내레이션을 원하는 크리에이터를 위한 것입니다.

linyqh/NarratoAI

NarratoAI – AI 기반 영상 내레이션 및 자동 편집

관련