scraed/LanPaint

해결하는 문제

LanPaint는 다양한 사전 학습된 확산 모델 및 rectified-flow 모델 전반에서 고품질 이미지 및 비디오 인페인팅(inpainting)과 아웃페인팅(outpainting)을 수행할 수 있는 범용적이고 학습이 필요 없는 방법을 제공합니다. 모델 미세 조정이나 역전파(backpropagation)가 필요 없으며, 사용자는 거의 모든 기존 모델에서 마스크 제약이 있는 로컬 편집, 객체 교체, 생성형 채우기를 수행할 수 있습니다.

작동 원리

LanPaint는 모델이 노이즈 제거 전에 여러 반복을 통해 "생각"할 수 있도록 하는 부분 조건부 샘플러를 구현합니다. 이 "Think Mode"는 더 많은 계산 시간을 투자하여 인페인팅 품질을 향상시킬 수 있게 합니다. ComfyUI 확장 기능으로 작동하며, 이미지(Qwen 2.1의 투명도 지원 포함) 및 비디오/오디오(MiniMax H3의 중첩 잠재 파이프라인을 통해)를 포함한 다양한 모달리티를 지원합니다.

대상 사용자

사용하는 모든 기본 모델에 대해 특정 인페인팅 모델을 학습시킬 필요 없이 이미지나 비디오에 정밀한 로컬 편집을 수행하고자 하는 ComfyUI 사용 디지털 아티스트 및 AI 연구자를 위해 설계되었습니다.

주요 특징

• 범용 호환성: Flux, SDXL, SD 1.5, Wan 2.2, Qwen Image, MiniMax H3를 포함한 광범위한 모델과 작동합니다.
• 학습 불필요: 미세 조정이나 역전파가 필요 없으며, 사전 학습된 모델에서 즉시 사용 가능합니다.
• 멀티모달 인페인팅: 이미지 인페인팅, 아웃페인팅, 비디오 인페인팅, 심지어 비디오와 오디오 결합 인페인팅까지 지원합니다.
• 통합 비디오 마스크 에디터: 프레임별 마스크를 그리기 위한 내장 에디터를 포함하며, 자동 보간 및 마스크를 비디오 메타데이터로 내보내는 기능을 제공합니다.
• Think Mode: 반복적인 정교화를 통해 계산 시간을 늘려 우수한 인페인팅 품질을 달성할 수 있습니다.