jd-opensource/JoyAI-Video-Edit

解决的问题

JoyAI-Video-Edit 实现了对开放性视频流的实时、指令引导式视频编辑。与传统的离线批处理不同，它允许用户在帧到达时即时编辑实时摄像头画面或上传的视频，无需等待整个视频序列完成，也无需预先定义固定的视频长度。

工作原理

该系统采用基于 MLLM 的条件编码器、因果视频 VAE 和 16B 参数的多模态扩散变换器（MMDiT）构成的自回归扩散架构。为实现高吞吐量性能（720p 下最高可达 30 FPS），系统采用了多种优化技术：对齐的自回归分布匹配蒸馏、长时程优化、有界 KV 状态推理以及面向部署的调度策略。

适用人群

本工具专为对交互式流媒体视频生成、实时视觉效果以及 AI 驱动的视频编辑应用感兴趣的开发者和研究人员设计。

核心亮点

• 实时流处理： 按帧因果处理，支持实时网络摄像头输入。
• 多样控制能力： 支持主体与局部编辑、背景更换、风格迁移、运动变化以及参考图像引导编辑（RV2V）。
• 高性能表现： 在 720 × 1248 分辨率下可达到 30 FPS。
• 消费级 GPU 支持： 优化运行于单张消费级 GPU（如 RTX 5090）上。