Kosinkadink/ComfyUI-AnimateDiff-Evolved

해결하는 문제

이 프로젝트는 ComfyUI에 AnimateDiff를 개선된 방식으로 통합하여 텍스트나 이미지에서 애니메이션을 생성할 수 있도록 합니다. 기본적인 AnimateDiff 구현의 한계를 극복하기 위해 고급 샘플링 옵션, 다양한 모션 모듈 지원, 그리고 긴 애니메이션에서 일관성을 유지하기 위한 도구를 추가합니다.

작동 방식

ComfyUI에 AnimateDiff의 모션 모듈을 구현하는 커스텀 노드 세트를 확장합니다. 슬라이딩 컨텍스트 윈도우 방식(컨텍스트 옵션)을 사용하여 무한한 애니메이션 길이를 가능하게 하며, AnimateDiff 내외에서 사용할 수 있는 '진화된 샘플링' 기법을 제공합니다. 이 시스템은 SD1.5, SDXL, LCM 등 다양한 모델 아키텍처를 지원하며, ControlNet, IPAdapter, 프롬프트 스케줄링과 같은 다른 ComfyUI 노드 팩과 통합됩니다.

대상 사용자

고품질이고 제어 가능한 AI 생성 애니메이션을 원하는 디지털 아티스트, AI 영상 제작자, ComfyUI 사용자. 특히 모션, 노이즈 스케줄링, 시간적 일관성에 대한 고도의 제어를 원하는 사용자에게 적합합니다.

주요 특징

• 무한한 애니메이션 길이: UNet과 모션 모듈에 걸쳐 슬라이딩 컨텍스트 윈도우를 사용하여 프레임 제한을 극복합니다.
• 광범위한 모델 지원: AnimateDiff v1/v2/v3, HotshotXL, AnimateLCM, AnimateLCM-I2V와 호환됩니다.
• 고급 제어: Motion LoRAs, 프롬프트 트래블, 프레임별 GLIGEN 좌표를 지원합니다.
• uma 통합: ControlNet, SparseCtrl, IPAdapter와 함께 작동하여 정밀한 구조적 및 시각적 안내를 제공합니다.
• 일관성 도구: FreeInit, FreeNoise, ContextRef, NaiveReuse를 구현하여 시간적 일관성을 향상시킵니다.
• 하드웨어 호환성: fp8를 지원하여 VRAM 사용량을 줄이며, Mac M1/M2/M3 칩과 호환됩니다.