TencentARC/ColorFlow

何を解決するか

ColorFlowは、キャラクターやオブジェクトの色が異なるフレーム間で一貫性を持たせるという課題を、黒白画像シーケンス（例：漫画やアニメ）の自動色分けに適用することで解決します。個々のキャラクターに対する微調整や手動でのアイデンティティ埋め込み抽出の必要性を排除し、産業応用における一般的な障壁を克服します。

動作原理

ColorFlowは3段階の拡散ベースのフレームワークを使用します：

1. リトリーブ増強パイプライン（RAP）：色分けプロセスをガイドする関連する色の参照を検索・取得します。
2. 文脈内色分けパイプライン（ICP）：二重ブランチ設計（色アイデンティティ抽出用と色分け用）と自己注意機構を用いて、参照からターゲット画像への色の一致を実現します。
3. ガイド付き超解像パイプライン（GSRP）：最終出力が高品質かつ高解像度になることを保証します。

対象ユーザー

このツールは、マンガ、コミックアーティスト、アニメスタジオなど、複数の画像間で厳密な色のアイデンティティを維持する必要がある、順次アートに従事するアーティストや産業クリエイター向けに設計されています。

特徴

• リトリーブ増強アプローチ：新しいキャラクターに対応するためのモデル再トレーニングを必要とせず、外部の色の参照を使用します。
• アイデンティティの一貫性：キャラクターやオブジェクトのアイデンティティをシーケンス全体で維持することを特に設計されています。
• 拡散ベース：高品質な視覚生成に拡散モデルの力を活用しています。
• 包括的な評価：参照ベース色分けのための新ベンチマーク「ColorFlow-Bench」を含んでいます。