Vincentwei1021/video-talkcraft

何を解決するか

video-talkcraft は、スクリプトとボイスオーバー録音を、高品質でモーショングラフィックスが豊富なトークヘッド動画に変換します。テキストとオーディオの手動同期、複雑なアニメーションの設計、教育用、製品レビュー、ニュース解説動画における視覚レイアウトの安全性確保といった作業をすべて自動化します。

動作方法

これは Claude Code や Codex 向けに設計された AI エージェントスキルとして、プロダクションパイプラインを調整します。

1. オーディオ同期: FireRedASR2-CTC または faster-whisper といった ASR バックエンドを使用して、スクリプトの文字レベルのタイムスタンプを生成します。
2. ショット設計: エージェントがスクリプトを分析し、78種類のモーショングラフィックスレシピカードのライブラリに基づいて「SHOTBOOK」（ストーリーボード）を作成します。
3. Remotion 実装: Remotion フレームワークを使用して、Reactベースの動画コードを生成し、動的なテキストカード、B-roll、カメラ移動をレンダリングします。
4. 品質保証: 自動スクリプトによる三段階検証システムで、静止画、オーディオエネルギー、時間的欠陥をチェックします。

対象ユーザー

教育用、説明動画、トークヘッド動画を制作し、従来のソフトウェアでの手動編集なしにプロフェッショナルなモーショングラフィックスを求めるクリエイター、教育者、レビュアー。

特徴

• 文字レベル同期: 高精度なオーディオ-テキスト同期（中央値偏差 20–40ms）。
• 78種類のモーショングラフィックスレシピカード: さまざまな視覚効果に対応する、自己完結型の Remotion tsx ソースコードライブラリ。
• Anti-PPT システム: 7層モデルにより、カメラの連続的なカーブとパララックス平面を確保し、静止画を防ぎます。
• 自動レイアウト安全確認: OpenCV YuNet を使用して顔のバウンディングボックスを検出し、要素が話者の顔を覆わないようにします。
• 三段階検証: 静止画、サウンドエフェクトのトリガー、フレームグループレビューを自動チェックし、プロフェッショナルな仕上がりを保証します。