jd-opensource/JoyAI-Video-Edit

解決する課題

JoyAI-Video-Edit は、ライブカメラストリームやアップロードされたビデオに対して、リアルタイムかつオープンエンドなビデオ編集を実現します。従来のオフラインバッチ処理とは異なり、フレームが到着するたびに因果的に編集を行うため、ビデオシーケンス全体を待機したり、ビデオの長さを事前に定義したりする必要がありません。

仕組み

このシステムは、160億パラメータを持つマルチモーダル拡散 Transformer (MMDiT)、因果ビデオ VAE、および MLLM ベースの条件エンコーダーで構成される自己回帰拡散アーキテクチャを使用しています。高スループット性能（720p で最大 30 FPS）を実現するために、アライメントされた自己回帰分布マッチング蒸留、長期間最適化、境界付き KV-state 推論、デプロイメント指向のスケジューリングなど、いくつかの加速技術を採用しています。

対象ユーザー

このツールは、インタラクティブなストリーミング生成、リアルタイムビデオエフェクト、AI 駆動のビデオコンテンツ制作に取り組む開発者や研究者向けに設計されています。

ハイライト

• リアルタイムストリーミング： シーケンス全体を事前に必要とせず、ライブビデオフィードを処理します。
• 多様な編集機能： 被写体や局所的な編集、背景置換、スタイル転送、モーション変更、および参照画像ガイド付き編集 (RV2V) をサポートします。
• 高性能： 720 × 1248 解像度で 30 FPS に到達可能です。
• コンシューマー向け GPU サポート： GeForce RTX 5090 などのハードウェアで動作するように最適化されています。