jianjieyiban/JJYB_AI_VideoAutoCut

解決する課題

JJYB AI VideoAutoCutは、動画制作プロセス中に複数のツールを切り替える手間を省くために設計された、ローカルファーストのAI動画制作ワークステーションです。素材分析と脚本作成から、ナレーション生成、音響同期、そして最終的な書き出しまで、ワークフロー全体を合理化します。

仕組み

このプロジェクトは、複数のAI駆動エンジンとツールを単一のデスクトップアプリケーション（Flask + PyWebView）に統合しています：

• オリジナル解説ワークフロー: SmartShotSegmenter（TransNetV2またはOpenCV経由）によるシーン検出、様々なスタイルでの脚本生成のためのLLM/VLM、そして偽のフリーズフレームを使用せずにビデオクリップを生成されたオーディオに合わせるPuppetSyncEngineを使用します。
• スマートリミックス: クリップのスコアリングに基づく一般モードと、librosaを使用してBGMのリズムに合わせてカットを同期させるミュージックビートモードを提供します。
• AIナレーションとクローニング: 複数のTTSエンジン（Edge TTS、Azureなど）と、IndexTTS2ワーカーによるローカル音声クローニングをサポートしています。
• AIカバー生成: DALL-E 3などの様々な画像生成APIに接続して、動画のサムネイルを作成します。
• 統合: FFmpeg経由でレンダリングし、さらなる手動調整のためにCapCut（剪映）のネイティブドラフト形式へのワンクリック書き出しを可能にします。

対象ユーザー

シーン分割、脚本作成、音響同期といった動画編集プロセスの退屈な部分を自動化しつつ、データのローカル管理を維持したい動画クリエイターやコンテンツプロデューサー。

ハイライト

• エンドツーエンドのワークフロー: 素材分析から最終書き出しまで、すべてを一つのツールでカバーします。
• 人間のような同期: 単なるパディングではなく、実際のタイムラインに基づいてクリップをオーディオに合わせる専用エンジン。
• CapCut統合: ビデオ、オーディオ、BGM、字幕トラックを含むネイティブドラフトを書き出し。
• 豊富なスタイルプリセット: AI生成スクリプトのトーンを調整するための12のナラティブスタイルとライティングペルソナが含まれています。
• ローカルファーストのアプローチ: プライバシーと速度のために、SQLiteとローカルAIワーカーを使用したローカル処理とストレージを優先しています。