Anil-matcha/open-genjutsu

解決する課題

Open Genjutsuを使用すると、元の動き、背景、場所を維持したまま、ビデオ内の人物を別のキャラクターに置き換えることができます。モーションコントロールのワークフローを単一のリクエストで処理することで、キャラクターアニメーションの作成プロセスを簡素化します。

仕組み

ソースビデオ（4〜30秒）と目的のキャラクターの参照画像を提供します。アプリケーションはローカルサーバーを実行してアップロードを管理し、設定されたビデオ生成APIにデータを送信して進行状況を監視します。生成が完了すると、アプリは自動的に結果をダウンロードし、FFmpegを使用して元のビデオのサウンドトラックとマージします。

対象ユーザー

このツールは、ビデオの再キャストワークフローを管理するためのローカルファーストのインターフェースを求めるクリエイターや開発者向けです。ビデオ生成の重い処理には外部APIを使用しつつ、メディアファイルやプロジェクトのプレビューは自分のマシン上に保持したいユーザー向けに設計されています。

ハイライト

• ローカルファーストのワークスペース：ソースメディアとエクスポートファイルをローカルデバイスに保持します。
• 自動音声復元：元のソースサウンドトラックを生成されたビデオにマージします。
• 簡素化されたワークフロー：複雑な多段階ジョブではなく、単一のモーションコントロールリクエストを使用します。
• プライバシー重視：APIキーはブラウザメモリ内にのみ保持され、ディスクには保存されません。
• 内蔵プレビュー：ジョブを送信する前にソースクリップとキャラクター参照を確認できます。