zenstory-ai/video-recap-skills

何を解決するか

このプロジェクトは、長時間の動画を中国語のナレーション付き要約動画に自動変換するパイプラインを提供します。手動での動画編集、脚本作成、ナレーション制作の必要を排除し、AIエージェントがコンテンツの理解から最終的な組み立てまで、全体的なクリエイティブプロセスを担当します。

動作方法

このシステムは、Claude Code、Codex CLI、OpenCode、OpenClawなどのAIエージェントホストに統合可能な「スキル」のセットとして動作します。ワークフローは以下のステージに従います：

1. 理解：Xiaomi MiMo APIを介してASR（自動音声認識）とVLM（視覚言語モデル）を使用し、シーンを分析し、テキストを抽出し、コンテンツ概要を作成します。
2. 計画：エージェントがディレクターおよび編集者として機能し、ストーリープラン、ビジュアル／オーディオボード、最終的なナレーションスクリプトを作成します。
3. カット：システムは、動画を先にカットして編集されたタイムラインに基づいてスクリプトを書くか、スクリプトを先に書いた後にカットするかのどちらかを選択できます。
4. ナレーション：Xiaomi MiMoまたはFish Audio TTSを使用して高品質なナレーションを生成します。
5. アセンブリ：ffmpeg を使用して編集済み動画、ナレーション、バックグラウンド音楽、字幕を統合し、最終的なMP4ファイルを生成します。また、CapCut（剪映）での手動微調整用にスキーマ駆動のドラフトもエクスポート可能です。

対象ユーザー

プロの編集ソフトウェアやGPUを大量に使用するローカルハードウェアを必要とせずに、迅速に動画要約やリ caps を生成したいコンテンツクリエイター、SNSマネージャー、ユーザー向けです。

特徴

• ローカルGPU不要：ASR、VLM、TTSのすべての重い処理はAPIで処理され、ローカルではPythonとffmpegのみが必要です。
• エージェント駆動のワークフロー：機械的な要約ではなく、視点や主要なストーリーラインなどのクリエイティブ意思決定をAIが管理します。
• CapCut統合：CapCutに編集可能なドラフトをエクスポートし、手動での微調整が可能です。
• 複数動画対応：複数のソース動画から1つのストーリーを合成でき、ローカル素材ライブラリの分析結果を再利用することでコストを削減できます。
• 柔軟なTTS：Xiaomi MiMoやFish Audioなど複数のプロバイダーをサポートし、カスタムボイスクローンも可能。