1038lab/ComfyUI-QwenVL

ComfyUI-QwenVL custom node: Integrates the Qwen-VL series, including Qwen2.5-VL, Qwen3-VL, Qwen3.5-VL, Qwen3.6-VL (MoE), and Qwen3.8-VL, with GGUF support for advanced multimodal AI in text generation, image understanding, and video analysis.

解决的问题

此项目将阿里云的 Qwen-VL 系列视觉语言模型集成到 ComfyUI 中，使用户能在基于节点的工作流程中执行高性能的图像和视频感知与推理。它通过提供多种量化选项和优化的注意力机制，解决了在不同硬件上运行大型多模态模型的挑战。

工作原理

该套件采用双引擎架构，同时支持 PyTorch（通过 Transformers）和 GGUF（通过 llama.cpp）。它具备智能视频自动缩放系统，能计算每帧的安全 token 预算，以防止 CUDA 内存不足（OOM）错误和上下文溢出。为了最大化速度，它实现了智能注意力选择器，根据用户的 GPU 架构优先使用 SageAttention，其次是 Flash Attention 2，最后是 SDPA。

适用对象

专为想要将高级视觉语言功能（如详细图像描述、视频分析和提示增强）集成到生成式 AI 流程中的 ComfyUI 用户而设计。

亮点

  • 广泛的模型支持：原生支持 Qwen3-VL（2B 至 32B）、Qwen3.5-VL、Qwen3.6-VL（MoE）、Qwen3.8-VL 和 Qwen2.5-VL。
  • 双引擎后端：可灵活使用高性能 Transformers 或内存效率高的 GGUF 模型。
  • 智能视频处理：动态 token 预算估算，在保留小片段分辨率的同时，防止高分辨率视频崩溃。
  • 精细控制：提供简单和高级节点，用于微调采样参数（温度、top_p、beam search）。
  • 硬件优化：集成 SageAttention 支持和即时量化（4-bit、8-bit、FP16），以平衡 VRAM 使用量和速度。

相关