TencentARC/ColorFlow

解决的问题

ColorFlow 解决了在自动为黑白图像序列（如漫画或动画）上色时，保持角色和物体颜色在不同帧之间一致的难题。它消除了工业应用中常见的障碍，如对每个角色进行微调或手动提取身份嵌入。

工作原理

ColorFlow 采用三阶段的扩散模型框架：

1. 检索增强管道（RAP）：查找并检索相关的颜色参考，以指导上色过程。
2. 上下文内上色管道（ICP）：采用双分支设计（一个用于颜色身份提取，一个用于上色）和自注意力机制，将参考中的颜色匹配到目标图像。
3. 引导式超分辨率管道（GSRP）：确保最终输出为高质量、高分辨率图像。

适用人群

该工具专为从事连续艺术创作的艺术家和工业创作者设计，例如漫画家、漫画艺术家和动画工作室，他们需要在多张图像间严格保持颜色一致性。

核心亮点

• 检索增强方法：使用外部颜色参考，无需为新角色重新训练模型。
• 身份一致性：专门设计用于在序列中保持角色和物体的身份一致。
• 基于扩散模型：利用扩散模型的强大能力实现高质量视觉生成。
• 全面评估：包含 ColorFlow-Bench，一个用于参考式上色的新基准。