zenstory-ai/video-recap-skills
Claude Code / Codex skills that turn a video into a Chinese narration recap (视频解说): scene detection, ASR, VLM, script, TTS, ffmpeg assembly, optional editable JianYing / CapCut draft export (剪映草稿导出). Local ffmpeg + one MiMo key, no GPU. | 用 Claude Code skills 把视频做成中文解说成片，可选一键导出可编辑剪映草稿。
해결하는 문제
이 프로젝트는 Claude Code, Codex CLI, OpenCode, OpenClaw와 같은 에이전트에 AI 기반 기술을 제공하여 하나 이상의 동영상을 전문적인 중국어 동영상 리캡으로 자동 변환할 수 있도록 합니다. 시각적·음성 콘텐츠 이해에서 최종 렌더링에 이르기까지 전체 제작 프로세스를 처리함으로써 긴 형식의 콘텐츠에 대한 나레이션 요약을 만드는 데 필요한 수작업을 크게 줄입니다.
작동 방식
시스템은 작업 디렉터리 내에서 구조화된 JSON과 MP4 파일을 통해 통신하는 7가지 전문 기술을 통해 작동합니다:
- 이해: Xiaomi MiMo를 통해 ASR(자동 음성 인식)과 VLM(시각-언어 모델)을 사용하여 장면, 대화, 침묵을 분석합니다.
- 스크립팅: 에이전트가 감독 역할을 하여 스토리 계획을 수립하고, 시각/오디오 보드를 결정하며, 나레이션 스크립트를 작성합니다.
- 컷팅: 스크립트 계획에 따라 원본 동영상을 원시 컷으로 자릅니다.
- 나레이션: Xiaomi MiMo 또는 Fish Audio를 사용하여 AI 나레이션을 생성합니다.
- 어셈블리: 오디오(나레이션 중 원본 사운드를 낮춤), 자막 렌더링, 최종 MP4 출력을 수행합니다.
- 참고: 선택적으로 기존 리캡을 분석하여 구조와 리듬을 분석해 향후 사용에 활용할 수 있습니다.
- 오케스트레이션: 엔드투엔드 프로세스를 관리하는 마스터 기술입니다.
대상 사용자
스토리 비트와 최종 출력에 대한 높은 창의적 제어를 유지하면서, 나레이션 동영상 요약(리캡)의 제작을 자동화하고 싶은 콘텐츠 크리에이터, 동영상 편집자, AI 애호가를 위한 것입니다.
주요 특징
- 에이전트 네이티브 워크플로우: AI 코딩 에이전트용 플러그인으로 설치 가능하며, 자연어로 프로덕션을 트리거할 수 있습니다.
- 전문적인 제작 로직: 단순한 요약이 아닌 '스토리 비트'와 '시청자 약속'을 우선시하여 리캡에 드라마틱한 전개를 보장합니다.
- GPU 없이 로컬 실행:
ffmpeg만 로컬에 필요; ASR, VLM, TTS의 중량 작업은 API(Xiaomi MiMo)를 통해 처리됩니다. - 편집 가능한 드래프트: 최종 타임라인을 CapCut/Jianying 드래프트로 내보낼 수 있어, 전문 에디터에서 수동으로 세부 조정이 가능합니다.
- 상세한 감사 로그: 각 단계마다 기계가 읽을 수 있는 로그(품질 검사 보고서, 수정 이력 등)를 생성하여 사실 정확성을 보장합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트