jd-opensource/JoyAI-Video-Edit

何を解決するか

JoyAI-Video-Edit は、開かれた動画ストリーム向けのリアルタイムで指示に従った動画編集を可能にします。従来のオフラインバッチ処理とは異なり、動画の全フレームを待つ必要なく、フレームが到着するたびにライブカメラ映像やアップロードされた動画を編集できます。

動作方法

このシステムは、MLLMベースの条件エンコーダ、因果的ビデオVAE、および16Bパラメータのマルチモーダル拡散変換器（MMDiT）からなる自己回帰拡散アーキテクチャを使用しています。高スループット性能（720pで最大30 FPS）を実現するために、アライメントされた自己回帰分布マッチング蒸留、長時間スパン最適化、限定されたKV状態推論、およびデプロイメント指向のスケジューリングなどの複数の最適化技術を採用しています。

対象ユーザー

このツールは、インタラクティブなストリーミング動画生成、リアルタイムのビジュアルエフェクト、AI駆動の動画編集アプリケーションに興味を持つ開発者や研究者向けに設計されています。

特徴

• リアルタイムストリーミング： フレームが到着するたびに因果的に処理し、ライブWebカメラ映像をサポートします。
• 多様な制御： サブジェクトや局所的な編集、背景の変更、スタイル転送、動きの変更、参照画像ガイド付き編集（RV2V）をサポートします。
• 高いパフォーマンス： 720 × 1248解像度で最大30 FPSを達成可能です。
• コンシューマーGPU対応： RTX 5090などの単一のコンシューマーGPUで最適化されており、実行可能です。