lbouaraba/comfyui-krea2edit

해결하는 문제

이 프로젝트는 ComfyUI 내에서 Krea 2 모델을 위한 지시 기반 이미지 편집을 가능하게 합니다. 예를 들어 "자동차를 매트 블랙으로 다시 칠하라"와 같은 텍스트 프롬프트를 사용하여 이미지를 수정하면서도 원본 주제의 정체성과 외형을 유지할 수 있게 해주며, 표준 텍스트 인코더를 사용할 때 발생하는 유사성 상실이나 의미적 기반이 약화되는 문제를 해결합니다.

작동 방식

이 시스템은 이미지의 외형과 프롬프트의 요청 내용을 모두 이해할 수 있도록 이중 조건부 접근 방식을 사용합니다:

1. 외형 주입: 원본 이미지가 VAE 잠재 토큰으로 확산 모델에 주입되어 시각적 정체성이 유지됩니다.
2. 의미적 기반: 원본 이미지가 Qwen3-VL 텍스트 인코더에도 입력되어, 모델이 텍스트 지시를 처리할 때 이미지를 "보는" 것처럼 작동하게 됩니다.

주로 두 가지 노드를 제공합니다: Krea2EditModelPatch는 이미지 잠재 변수와 기하학적 구조(아스펙트 비율 맞춤 포함)를 처리하며, Krea2EditGroundedEncode는 이미지 기반 텍스트 인코딩을 담당합니다.

대상 사용자

원본 주제의 정체성을 유지하면서 재색상 조정, 객체 추가/삽입, 속성 변경, 캐릭터 재배치 등의 고정밀 이미지 편집을 원하는 ComfyUI 사용자에게 적합합니다.

주요 특징

• 이중 조건부: 잠재 토큰과 이미지 기반 텍스트 인코딩을 결합하여 우수한 정체성 유지 성능 제공.
• 유연한 참조 기하학: 출력 아스펙트 비율에 맞춰 원본 이미지를 적절히 조정하여 왜곡을 방지.
• 다중 참조 지원: 복잡한 편집을 위해 두 개의 참조 이미지(예: 인물과 장면)를 사용할 수 있음.
• VRAM 최적화: VAE 오프로딩으로 인한 샘플링 시 성능 저하를 방지하기 위해 특수한 "픽셀 경로"와 target_latent 연결을 포함.