shootthesound/comfyUI-Realtime-Lora

해결하는 문제

이 툴킷은 다양한 이미지 및 동영상 생성 모델용 LoRA(저랭크 적응)의 훈련, 분석, 선택적 로드를 위한 통합 인터페이스를 ComfyUI 내에 제공합니다. 외부 훈련 소프트웨어를 전환할 필요 없이, 모델의 특정 블록이 LoRA에 의해 어떻게 영향을 받는지 세밀하게 조정할 수 있어 최종 출력에 대한 훨씬 더 정교한 제어를 가능하게 합니다.

작동 방식

이 프로젝트는 sd-scripts, Musubi Tuner, AI-Toolkit의 세 가지 주요 훈련 백엔드를 ComfyUI 노드에 직접 통합합니다. 모델 파이프라인의 다양한 단계를 위한 도구 세트를 제공합니다:

• 훈련: SDXL, SD 1.5, FLUX, Z-Image, Qwen Image, Wan 2.2 등의 모델용 전용 노드로 이미지에서 실시간으로 훈련이 가능합니다.
• 분석 및 선택적 로드: "Analyzer" 노드는 LoRA 형식(예: Standard, LoKR, LoHa)을 감지하고 가장 영향력 있는 블록을 식별합니다. "Selective Loader" 노드를 통해 사용자는 개별 블록 또는 레이어의 활성화/비활성화 또는 강도를 조정할 수 있습니다.
• 강도 스케줄링: V2 노드는 키프레임과 프리셋(예: 페이드, 펄스)을 사용해 LoRA를 다양한 강도로 적용할 수 있습니다.
• 딥 디비어서 및 인스펙터: 블록 수준 제어를 넘어서 DIT, VAE, 텍스트 인코더의 개별 하위 구성 요소(어텐션 헤드, MLP, 정규화)를 스케일링하여 편향을 수정하거나 동작을 세밀하게 조정할 수 있습니다.

대상 사용자

커스텀 주제나 스타일을 훈련하고 싶은 디지털 아티스트, AI 연구자, ComfyUI 사용자로서 LoRA가 기본 모델에 어떻게 적용되는지 정밀하고 수술적인 제어를 원하는 분들.

주요 특징

• 다중 백엔드 지원: sd-scripts, Musubi Tuner, AI-Toolkit에 대한 통합 접근.
• 광범위한 모델 호환성: SDXL, SD 1.5, FLUX(클라인 4B/9B 포함), Z-Image, Qwen Image, Wan 2.2를 지원.
• 수술적 제어: DIT, VAE, 텍스트 인코더의 블록 수준 및 하위 구성 요소 수준(Deep Debiaser) 편집 가능.
• 동적 적용: 생성 중에 변화하는 LoRA 영향을 제어할 수 있는 40개 이상의 프리셋을 갖춘 강도 스케줄링.
• 통합 워크플로우: ComfyUI 인터페이스를 벗어나지 않고 LoRA를 훈련하고 적용할 수 있습니다.