TencentARC/ColorFlow

解決的問題

ColorFlow 解決了自動為黑白影像序列（例如漫畫或動畫）上色時，保持角色與物件顏色在不同畫格間一致的難題。它消除了工業應用中常見的障礙，例如針對每個角色進行微調或手動提取身分嵌入。

工作原理

ColorFlow 採用三階段的擴散模型框架：

1. 檢索增強管道（RAP）：尋找並檢索相關的顏色參考，以指導上色過程。
2. 上下文內上色管道（ICP）：採用雙分支設計（一個用於顏色身分提取，一個用於上色）與自注意力機制，將參考中的顏色匹配到目標影像。
3. 導向式超解析度管道（GSRP）：確保最終輸出為高品質、高解析度影像。

適用對象

此工具專為從事連續藝術創作的藝術家與工業創作者設計，例如漫畫家、漫畫藝術家與動畫工作室，他們需要在多張影像間嚴格保持顏色一致性。

核心亮點

• 檢索增強方法：使用外部顏色參考，無需為新角色重新訓練模型。
• 身分一致性：專門設計用於在序列中保持角色與物件的身分一致。
• 基於擴散模型：利用擴散模型的強大能力實現高品質視覺生成。
• 全面評估：包含 ColorFlow-Bench，一個用於參考式上色的新基準。