zai-org/SCAIL-2
Official Implementation of SCAIL-2: Unifying Controlled Character Animation with End-to-end In-Context Conditioning
解決的問題
SCAIL-2 解決了傳統角色動畫依賴中間姿態表示（如骨骼圖）所帶來的限制，這些限制在處理複雜動作、非人類驅動來源（例如動物）以及身份泛化方面經常表現不佳。該模型旨在為影片中的角色動畫與角色替換提供更靈活的端到端系統。
工作原理
SCAIL-2 使用統一的運動傳輸介面，結合特定的遮罩通道與專用的 RoPE 設計，繞過中間姿態表示。它透過「保留驅動」方法，基於其他模型（SCAIL-Preview、Wan-Animate 和 MoCha）合成的 60K 組運動對進行訓練，從而發展出突現能力。該系統支援動畫模式（端到端或姿態驅動）與替換模式。此外，還整合了偏置感知 DPO（Direct Preference Optimization），以改善唇部與眼部同步等細節，並減少手部畸變。
適用對象
本專案適用於從事 AI 驅動影片生成、角色動畫與影片編輯的開發者與創作者，需要高保真度運動遷移與角色替換能力的使用者。
主要亮點
- 端到端動畫：無需依賴骨骼圖即可支援角色動畫，可實現動物驅動場景。
- 角色替換：支援將影片中的角色替換為參考影像，包含一個 Relighting LoRA 以確保自然的光照與陰影融合。
- 多參考支援：支援零樣本多參考生成，可提供角色的額外視覺細節（如不同角度或特寫）。
- 偏置感知 DPO：採用新穎機制提升同步性與細節品質。
- ComfyUI 集成：可在 ComfyUI 生態系統中使用。
相關
- 專案
- 專案
- 專案
- Dispatch
- Dispatch