Kosinkadink/ComfyUI-Advanced-ControlNet

해결하는 문제

이 프로젝트는 ComfyUI에서 ControlNet을 위한 고급 스케줄링 및 제어를 제공하여, 사용자가 샘플링 타임스텝과 배치 내 개별 잠재 변수에 따라 ControlNet 강도가 어떻게 변하는지 정밀하게 관리할 수 있도록 합니다. 이는 기본적인 ControlNet 적용과 Auto1111과 같은 다른 도구에서 볼 수 있는 세밀한 제어(특히 프롬프트와 ControlNet의 중요도 관련) 사이의 간극을 메워줍니다.

작동 방식

이 시스템은 스케줄을 생성하기 위해 "Timestep Keyframes"와 "Latent Keyframes"를 도입합니다. Timestep Keyframes는 샘플링 프로세스의 특정 백분율에서 활성화되는 설정(강도, 가중치, 마스크)을 정의합니다. Latent Keyframes는 배치 내 개별 이미지(잠재 변수)에 특정 강도를 할당할 수 있게 합니다. 또한 기본 및 무조건적 승수를 조정하여 "프롬프트가 더 중요함" 및 "ControlNet이 더 중요함"과 같은 기능을 재현하는 "Soft Weights"를 구현했습니다.

대상 사용자

이미지 생성 프로세스에서 정밀한 시간적 또는 공간적 제어가 필요한 ComfyUI 사용자 중 디지털 아티스트 및 AI 비디오 크리에이터, 특히 AnimateDiff 또는 SVD-ControlNets를 사용하는 사용자.

주요 특징

• 포괄적인 모델 지원: ControlNet, T2IAdapters, ControlLoRAs, ControlLLLite, SparseCtrls, SVD-ControlNets 및 Reference 모델과 함께 작동합니다.
• 세밀한 스케줄링: 키프레임을 통한 타임스텝 및 잠재 변수 강도 스케줄링 지원.
• 어텐션 마스킹: 이미지의 어느 부분에 ControlNet이 영향을 미칠지 결정하기 위한 마스크 적용 기능.
• 고급 가중치 설정: Soft Weights를 통해 Auto1111의 프롬프트 vs ControlNet 중요도 기능을 재현.
• 슬라이딩 컨텍스트 지원: AnimateDiff-Evolved에서 사용되는 슬라이딩 컨텍스트 샘플링과 완전히 호환됩니다.