zenstory-ai/video-recap-skills

解決的問題

本專案提供一個自動化流程，將長影片自動轉換為簡潔的中文旁白式回顧影片（摘要）。透過使用AI代理完成從內容理解到最終合成的整個創作過程，徹底消除手動影片剪輯、腳本撰寫和配音製作的需求。

工作原理

該系統作為一組可整合至Claude Code、Codex CLI、OpenCode或OpenClaw等AI代理主機中的「技能」運作。工作流程包括以下階段：

1. 理解：透過小米MiMo API使用ASR（自動語音辨識）和VLM（視覺-語言模型）分析場景，提取文字，並生成內容概要。
2. 規劃：代理擔任導演與編輯，制定故事大綱、視覺/音訊板以及最終的旁白腳本。
3. 剪輯：系統可選擇先剪輯影片再根據編輯後的時間軸撰寫腳本，或先撰寫腳本再進行剪輯。
4. 配音：使用小米MiMo或Fish Audio TTS生成高品質旁白。
5. 合成：使用 ffmpeg 將剪輯後的影片、旁白、背景音樂和字幕合併，生成最終的MP4檔案。也可導出基於schema的草稿，供在CapCut（剪映）中進一步手動優化。

適用對象

希望無需專業編輯軟體或高運算力本地硬體，即可快速生成影片摘要或回顧內容的內容創作者、社群媒體管理員及一般使用者。

核心亮點

• 無需本地GPU：ASR、VLM、TTS等所有重負載任務均透過API處理，本地僅需Python和ffmpeg。
• 代理驅動工作流：AI負責創意決策（如視角、主線劇情），而非僅執行機械式摘要。
• CapCut整合：支援導出可編輯草稿至CapCut，便於手動細緻調整。
• 多影片支援：可從多個來源影片合成一個完整故事，並重用本地素材庫的分析結果以節省成本。
• 靈活TTS：支援小米MiMo、Fish Audio等多個供應商，且支援自訂語音克隆。