sirioberati/Genjustsu-Open-Source-Workflow

解決する課題

Genjustsu は、元のソースオーディオを保持しながらビデオ内の被写体を置き換えるために設計された、ローカル UI およびエージェント支援ワークフローです。深度推定、セグメンテーションマスク、AI 主導のビデオ生成を組み合わせることで被写体置き換えプロセスを効率化し、生成されたオーディオではなく元のサウンドトラックを維持した最終出力を保証します。

仕組み

このシステムは、被写体置き換えのためにビデオを準備するマルチステージパイプラインを使用します：

1. オーディオ処理: Demucs を使用してボーカルを分離し、Rubber Band を使用してピッチを +3 半音シフトしてガイドトラックを作成します。
2. 視覚的準備: depth-anything-video を使用してカラー深度マップを生成し、SAM 3 を介してセグメンテーションマスクを作成します。また、深度/SAM 呼び出しなしで顔追跡を行う Google MediaPipe Face Landmarker を使用した「高速」モードも提供します。
3. 合成: 深度被写体を元の背景の上に合成し、ピッチ調整されたボーカルをビデオに埋め込みます。
4. 生成: 準備されたビデオとキャラクターリファレンスを Enhancor Seedance（Edit または Omni モードを使用）に送信し、ドラフトプレビューを生成します。
5. 最終化: ユーザーがドラフトを承認すると、システムは 1080p バージョンを生成し、ピッチ調整されていない元のソースオーディオをバイト単位で復元します。

対象ユーザー

このツールは、マスクレビュープロセスを通じて高品質なオーディオと正確な視覚的制御を維持しながら、既存のビデオシーンのキャラクターを新しいアイデンティティに置き換えたいクリエイターや開発者向けです。

ハイライト

• オーディオ復元: 最終エクスポート時に、元のソースオーディオ全体を自動的に復元します。
• エージェント支援セットアップ: インストールと環境設定を処理するためのコーディングエージェント向けの詳細なランブックが含まれています。
• マルチモード準備: アドバンスド (Depth + SAM)、高速 (Face Mesh)、および複合 (Depth + SAM + Face Mesh) モードをサポートします。
• ドラフトから HD へのワークフロー: 1080p の高解像度生成を確定する前に、ユーザーがドラフトを承認しなければならない必須のレビューゲートを実装しています。
• ローカル制御: ローカルの FastAPI アプリケーションとして実行され、バニラ JS UI を使用し、Replicate および Enhancor を介してホストされたモデルを使用して重い推論を行います。