zai-org/SCAIL-2
Official Implementation of SCAIL-2: Unifying Controlled Character Animation with End-to-end In-Context Conditioning
解决的问题
SCAIL-2 解决了传统角色动画依赖中间姿态表示（如骨骼图）所带来的局限性，这些局限性在处理复杂动作、非人类驱动源（例如动物）以及身份泛化方面常常表现不佳。该模型旨在为视频中的角色动画和角色替换提供更灵活的端到端系统。
工作原理
SCAIL-2 使用统一的运动传输接口，结合特定的掩码通道和专用的 RoPE 设计，绕过中间姿态表示。它通过“保留驱动”方法，基于其他模型（SCAIL-Preview、Wan-Animate 和 MoCha）合成的 60K 组运动对进行训练，从而发展出涌现能力。该系统支持动画模式（端到端或姿态驱动）和替换模式。此外，还集成了偏置感知 DPO（Direct Preference Optimization），以改善唇部与眼部同步等细节，并减少手部畸变。
适用人群
本项目适用于从事 AI 驱动视频生成、角色动画和视频编辑的开发者与创作者，需要高保真度运动迁移和角色替换能力的用户。
主要亮点
- 端到端动画：无需依赖骨骼图即可支持角色动画，可实现动物驱动场景。
- 角色替换：支持将视频中的角色替换为参考图像，包含一个 Relighting LoRA 以确保自然的光照和阴影融合。
- 多参考支持：支持零样本多参考生成，可提供角色的额外视觉细节（如不同视角或特写）。
- 偏置感知 DPO：采用新颖机制提升同步性和细节质量。
- ComfyUI 集成：可在 ComfyUI 生态系统中使用。
相关
- 项目
- 项目
- 项目
- Dispatch
- Dispatch