TencentARC/ColorFlow

해결하는 문제

ColorFlow은 만화나 애니메이션과 같은 흑백 이미지 시퀀스를 자동으로 색칠하면서 캐릭터와 객체의 색상이 프레임 간에 일관성을 유지하는 어려움을 해결합니다. 산업적 응용에서 흔한 장벽인 개별 캐릭터에 대한 미세 조정이나 수동적인 아이덴티티 임베딩 추출이 필요 없도록 합니다.

작동 방식

ColorFlow은 세 단계의 확산 기반 프레임워크를 사용합니다:

1. 리트리ieval-증강 파이프라인 (RAP): 색칠 과정을 안내하기 위해 관련된 색상 참조를 검색하고 가져옵니다.
2. 컨텍스트 내 색칠 파이프라인 (ICP): 색상 아이덴티티 추출과 색칠을 위한 이중 브랜치 설계와 자기 주의 메커니즘을 사용하여 참조에서 타겟 이미지로 색상을 매칭합니다.
3. 가이드된 초해상도 파이프라인 (GSRP): 최종 출력이 고품질이고 고해상도가 되도록 보장합니다.

대상 사용자

이 도구는 만화, 만화 아티스트, 애니메이션 스튜디오 등 여러 이미지 간에 엄격한 색상 아이덴티티를 유지해야 하는 순차적 아트 작업에 종사하는 아티스트와 산업 창작자들을 위한 것입니다.

주요 특징

• 리트리ieval-증강 접근법: 새로운 캐릭터에 대해 모델 재학습이 필요 없이 외부 색상 참조를 사용합니다.
• 아이덴티티 일관성: 시퀀스 전체에 걸쳐 캐릭터와 객체의 아이덴티티를 유지하도록 특별히 설계되었습니다.
• 확산 기반: 고품질 시각 생성을 위해 확산 모델의 힘을 활용합니다.
• 포괄적인 평가: 참조 기반 색칠을 위한 새로운 벤치마크인 ColorFlow-Bench를 포함합니다.