jd-opensource/JoyAI-Video-Edit

解決的問題

JoyAI-Video-Edit 提供開放式影片串流的即時、指令導向影片編輯。與傳統的離線批次處理不同，它允許使用者在畫面逐幀到達時即時編輯即時攝影機畫面或上傳的影片，無需等待整個影片序列完成，也無需事先定義固定的影片長度。

工作原理

此系統採用基於 MLLM 的條件編碼器、因果式影片 VAE，以及 16B 參數的多模態擴散轉換器（MMDiT）所構成的自回歸擴散架構。為達成高吞吐量性能（720p 下最高可達 30 FPS），系統採用多項優化技術：對齊的自回歸分佈匹配蒸餾、長時程優化、有界 KV 狀態推論，以及面向部署的排程策略。

適用對象

本工具專為對互動式串流影片生成、即時視覺效果，以及 AI 驅動的影片編輯應用感興趣的開發者與研究人員設計。

核心亮點

• 即時串流處理： 按幀因果處理，支援即時網路攝影機輸入。
• 多樣控制能力： 支援主體與局部編輯、背景更換、風格轉移、運動變化，以及參考影像引導編輯（RV2V）。
• 高性能量表現： 在 720 × 1248 解析度下可達 30 FPS。
• 消費級 GPU 支援： 經優化，可在單張消費級 GPU（如 RTX 5090）上執行。