1038lab/ComfyUI-QwenVL

해결하는 문제

이 프로젝트는 Alibaba Cloud의 Qwen-VL 시리즈 비전-언어 모델을 ComfyUI에 통합하여, 노드 기반 워크플로우 내에서 고성능 이미지 및 비디오 인식과 추론을 가능하게 합니다. 다양한 하드웨어에서 대규모 멀티모달 모델을 실행하는 문제를 해결하기 위해 여러 양자화 옵션과 최적화된 어텐션 메커니즘을 제공합니다.

작동 방식

이 스위트는 PyTorch(Transformers 경유)와 GGUF(llama.cpp 경유)를 모두 지원하는 이중 엔진 아키텍처를 사용합니다. 프레임당 안전한 토큰 예산을 계산하여 CUDA 메모리 부족(OOM) 오류와 컨텍스트 오버플로를 방지하는 지능형 비디오 자동 스케일링 시스템을 갖추고 있습니다. 속도를 최대화하기 위해 사용자의 GPU 아키텍처에 따라 SageAttention, 그 다음 Flash Attention 2, 마지막으로 SDPA를 우선시하는 스마트 어텐션 선택기를 구현합니다.

대상 사용자

상세 이미지 설명, 비디오 분석, 프롬프트 향상과 같은 고급 비전-언어 기능을 생성형 AI 파이프라인에 통합하려는 ComfyUI 사용자를 위해 설계되었습니다.

주요 특징

• 광범위한 모델 지원: Qwen3-VL(2B~32B), Qwen3.5-VL, Qwen3.6-VL(MoE), Qwen3.8-VL, Qwen2.5-VL을 기본 지원합니다.
• 이중 엔진 백엔드: 고성능 Transformers 또는 메모리 효율적인 GGUF 모델을 유연하게 사용할 수 있습니다.
• 지능형 비디오 처리: 동적 토큰 예산 추정으로 작은 클립의 해상도를 유지하면서 고해상도 비디오에서 충돌을 방지합니다.
• 세부 제어: 샘플링 매개변수(온도, top_p, 빔 검색)를 미세 조정하기 위한 간단한 노드와 고급 노드를 모두 제공합니다.
• 하드웨어 최적화: SageAttention 지원과 즉석 양자화(4비트, 8비트, FP16)를 통합하여 VRAM 사용량과 속도의 균형을 맞춥니다.