jd-opensource/JoyAI-Video-Edit

解决的问题

JoyAI-Video-Edit 实现了针对实时摄像机流或上传视频的实时、开放式视频编辑。与传统的离线批处理不同，它在帧到达时以因果方式进行编辑，无需等待完整视频序列或预先定义视频长度。

运作原理

该系统使用自回归扩散架构，包含一个具有 160 亿参数的多模态扩散 Transformer (MMDiT)、一个因果视频 VAE 以及一个基于 MLLM 的条件编码器。为了实现高吞吐量性能（在 720p 下高达 30 FPS），它采用了多种加速技术：对齐自回归分布匹配蒸馏、长视界优化、有界 KV-state 推理以及面向部署的调度。

适用对象

此工具专为从事交互式流生成、实时视频特效以及 AI 驱动视频内容创作的开发者与研究人员而设计。

特色亮点

• 实时流： 处理实时视频流，无需预先获取完整序列。
• 多样化编辑能力： 支持主体与局部编辑、背景替换、风格迁移、动作变更以及参考图像引导编辑 (RV2V)。
• 高性能： 在 720 × 1248 分辨率下可达到 30 FPS。
• 消费级 GPU 支持： 针对 GeForce RTX 5090 等硬件进行了优化。