jianjieyiban/JJYB_AI_VideoAutoCut
JJYB_AI 智剪 - 智能视频自动剪辑与AI解说工具(离线TTS、原创解说、混剪、AI配音)
JJYB AI VideoAutoCut – オールインワンAI動画編集デスクトップアプリ
概要 – Windows専用のデスクトップアプリケーション(Flask + PyWebView)で、クリエイターが生の動画クリップを取り込み、ソフトウェアが解析し、スクリプトを自動生成し、ナレーションを合成し、タイムライン上ですべてを同期して最終カットを書き出すことができます。すべてのデータはローカルに保存され(SQLite、FFmpeg、OpenCV)、UIはバイリンガル(中国語/英語)です。
主な機能
| 機能 | 説明 |
|---|---|
| スマートショット分割 | TransNetV2を使用した深層ショット検出。モデルがない場合はOpenCVのフレーム差分にフォールバック。 |
| AIスクリプト生成 | 設定可能なLLM/VLMを呼び出し、プリセットされた12のスタイル(例:ニュース、vlog、ドキュメンタリー)でナレーションスクリプトを生成。トーン、フック、ペルソナ、スピード、感情を細かく制御可能。 |
| マルチエンジンTTS&ボイスクローニング | Edge、Azure、gTTS、Coquiなどをサポート。ローカルのIndexTTS2ボイスクローニング(別途Python 3.10環境が必要)。 |
| パペット同期エンジン | 各スクリプトセグメントを最適なショットに整列。カット、スローモーション、ハイライトをフレームを偽造せずに処理。 |
| 元音声ミキシング | 設定可能な比率でソース音声の一部をオプションで挿入。 |
| ターゲット時間保証 | 最終動画がユーザー定義の長さに合うことを保証し、FFprobeで検証。 |
| AI支援リミックス | 通常(ショットスコアリング)と音楽ビート(librosaによるビート検出)の2つのリミックスモード。トレーラー、ゲームハイライト、旅行モンタージュなどのプリセットリズムパッケージを搭載。 |
| AIカバー生成 | クラウド画像モデル(DALL-E 3、Midjourney風サービス)またはローカルのフォールバックテンプレートを呼び出してサムネイル画像を生成。 |
| フル機能タイムラインエディタ | マルチトラックのビデオ/オーディオ/字幕編集、基本フィルター、トランジション、再生速度制御。 |
| 剪映(CapCut)ドラフトへの書き出し | ネイティブCapCutプロジェクトフォルダを生成し、モバイルアプリで編集を継続可能。 |
| プロジェクト&アセット管理 | ローカルSQLiteにプロジェクト、素材ライブラリ、ログを保存。ドラッグ&ドロップアップロード、タグ付け、検索、一括操作。 |
| バイリンガルUI | すべてのUI文字列(200以上)が翻訳され、言語選択はセッション間で維持されます。 |
技術スタック(概要)
- フロントエンド: Flask + Flask-SocketIO、HTML/JS(Layui)、PyWebViewでネイティブウィンドウを実現。
- ビデオ/オーディオ: FFmpeg/ffprobe、OpenCV、MoviePy、librosa、Pydub。
- AIモデル: 設定可能なクラウドLLM/VLM(OpenAI、Claude、Geminiなど)、オプションのローカルPyTorchモデル(TransNetV2、YOLO、Whisper)、IndexTTS2によるボイスクローニング。
- データ: SQLite、ローカルファイルシステム(
uploads/、output/、temp/)。 - OS: Windows 10/11、CUDAオプションで高速なディープラーニング推論。
はじめに(クイック概要)
- 最新リリースzipをダウンロードします。
- Python 3.10-3.13をインストールし、
pip install -r requirements.txtを実行します。 - FFmpegをインストールし、
PATHに追加します。 启动应用.batをダブルクリックします(またはpython frontend/app.pyを実行)。- Web UIを開きます(通常は
http://127.0.0.1:5000)。 - 設定で、少なくとも1つのLLM APIキー、自動ショット解析用のビジョンモデル、AIカバーが必要な場合は画像生成APIを追加します。
典型的なワークフロー
- 素材ライブラリ経由で生の映像をインポートします。
- スマートセグメンテーション → ショットのリスト。
- 選択したナレーションスタイルでスクリプトを生成/編集します。
- ナレーションを生成します(TTSまたはクローンボイスを選択)。
- パペット同期でショットと音声を整列し、オプションで元音声をミックスします。
- タイムラインエディタでプレビュー/微調整します。
- 書き出し – 最終MP4またはCapCutドラフトフォルダ。
ライセンスと使用上の注意
- コードは個人学習および非商用利用のみ公開されています。商用展開、再販、有料サービスには著者の明示的な書面による許可が必要です。
- ユーザーはソースメディアの権利を持っている必要があり、ボイスクローニング機能を使用する前に同意を得る必要があります。
上記の詳細はすべてリポジトリのREADMEから直接引用しています。追加の機能は推測していません。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト