zenstory-ai/video-recap-skills

Claude Code / Codex skills that turn a video into a Chinese narration recap (视频解说): scene detection, ASR, VLM, script, TTS, ffmpeg assembly, optional editable JianYing / CapCut draft export (剪映草稿导出). Local ffmpeg + one MiMo key, no GPU. | 用 Claude Code skills 把视频做成中文解说成片，可选一键导出可编辑剪映草稿。

何を解決するか

このプロジェクトは、Claude Code、Codex CLI、OpenCode、OpenClawなどのAIエージェントにAI駆動のスキルを提供し、1本以上の動画をプロフェッショナルな中国語の動画リ caps に自動的に変換するためのツールセットを提供します。視覚的・音声的コンテンツの理解から最終レンダリングまで、すべての制作プロセスを処理し、長編コンテンツのナレーション付き要約を作成するための手作業を大幅に削減します。

動作方法

システムは、作業ディレクトリ内で構造化されたJSONとMP4ファイルを介して通信する7つの専門スキルによって動作します：

  1. 理解：Xiaomi MiMoを介してASR（自動音声認識）とVLM（視覚言語モデル）を使用して、シーン、会話、沈黙を分析します。
  2. 脚本作成：エージェントがディレクターとして物語の構成を決定し、ビジュアル／オーディオボードを設定し、ナレーションの脚本を作成します。
  3. カット：脚本の計画に基づいて、元の動画を粗いカットに分割します。
  4. ナレーション生成：Xiaomi MiMoまたはFish Audioを使用してAIナレーションを生成します。
  5. 編集：音声（ナレーション中は元の音声を下げます）、字幕のレンダリング、最終MP4の出力を行います。
  6. リファレンス分析：任意で既存のリ caps を分解し、構造やリズムを分析して将来の使用に活かします。
  7. オーケストレーション：エンドツーエンドのプロセスを管理するマスタースキルです。

対象ユーザー

物語のビートや最終出力に対する高いクリエイティブコントロールを維持しながら、ナレーション付きの動画要約（リ caps ）の作成を自動化したいコンテンツクリエイター、動画編集者、AI愛好家向けです。

特徴

  • エージェントネイティブワークフロー：AIコーディングエージェント用のプラグインとしてインストール可能で、自然言語でプロダクションをトリガーできます。
  • プロフェッショナルな制作ロジック：単なる要約ではなく、「物語のビート」と「視聴者への約束」を優先し、リ caps にドラマチックな展開を確保します。
  • GPU不要のローカル実行：ffmpegのみローカルに必要。ASR、VLM、TTSの重い処理はAPI（Xiaomi MiMo）で処理されます。
  • 編集可能なドラフト出力：最終タイムラインをCapCut/Jianyingのドラフトとしてエクスポート可能で、プロフェッショナルなエディタで手動で微調整できます。
  • 詳細な監査ログ：各ステップごとに機械可読なログ（品質管理レポート、改訂履歴など）を生成し、事実の正確性を保証します。

関連

  • プロジェクト
    joeseesun/qiaomu-cut-skill

    qiaomu‑cut は、AI エージェントが 1 文のビデオ概要を完全で再現可能なビデオプロジェクトに変換できるオープンソースの CLI スキルです。ストーリーボード（QiaoCut IR）を構築し、フリーストックサイト、字幕データベース（33台词）、AI サービス（ListenHub / MarsWave）からアセットを収集し、カット、トランジション、字幕、モーショングラフィックスを設計し、ffmpeg（プレビュー/標準/最終プロファイル）でレンダリングしながら、出所を記録し品質チェックを実行します。`npx skills add …` でインストールでき、依存関係を自動インストールするスクリプトが含まれています。

  • プロジェクト
    jipraks/yt-short-clipper

    YT Short Clipper v2 は、Windows専用のデスクトップアプリで、長時間のYouTube動画を縦型（9:16）の短いクリップに自動変換します。動画と元の字幕をダウンロードし、LLMにトランスクリプトを読み込ませてハイライト部分を抽出。各セグメントを切り出し、縦表示（9:16）に再フレームし、単語単位の字幕を焼き付け、Replizにアップロードすることも可能です。React + TypeScript、Tauri（Rust）、Pythonサイドカー（yt‑dlp、FFmpeg、MediaPipe）で構築されており、OpenAI互換モデルまたはアプリ内ウォレットベースのAIサービスに対応しています。MITライセンス、ベータ版、Windows専用です。

  • プロジェクト
    Mr-funny/hbg-classical-poem-silk-video

    AI画像生成、Geminiベースの画像→動画Dockerコンテナ、筆跡字幕、自動QAを活用して、中国古典詩を縦長（1080 × 1920）の中国画風アニメ動画に変換するエージェントスキル

  • プロジェクト
    MaKTaiL/gemini-srt-translator

    Gemini SRT Translatorは、Google Gemini AIを使用してビデオまたはオーディオファイルから字幕（SRT/ASS）を翻訳、文字起こし、抽出するPythonツールで、CLI（`gst …`）とPython APIの両方を提供し、Googleの標準およびエンタープライズGeminiエンドポイントをサポートします。

  • プロジェクト
    myccarl/ai-shortVideo-pipeline

    myAiVideos は、Docker Compose を基盤としたオープンソースシステムで、中国語コンテンツ向けの短編動画作成ワークフロー（トピック → スクリプト → ビジュアル → オーディオ → 編集 → 配信）を完全自動化します。FastAPI オーケストレーターと Java Spring-Boot ゲートウェイ（認証、ルーティング、回路遮断、メータリング）を用い、DeepSeek、GLM、Kling、TTS サービスなど複数のLLMおよびマルチモーダルモデルと統合しています。パイプラインはレイヤード構造で、フェイルオーバー対応、Langfuse および Prometheus を通じた完全な観測性を備えています。