1038lab/ComfyUI-QwenVL

解決する問題

このプロジェクトは、Alibaba Cloud の Qwen-VL シリーズの視覚言語モデルを ComfyUI に統合し、ノードベースのワークフロー内で高性能な画像・動画認識と推論を可能にします。さまざまなハードウェアで大規模マルチモーダルモデルを実行する課題に対し、複数の量子化オプションと最適化されたアテンションメカニズムを提供することで対応します。

仕組み

このスイートは、PyTorch（Transformers 経由）と GGUF（llama.cpp 経由）の両方をサポートするデュアルエンジンアーキテクチャを採用しています。フレームごとの安全なトークン予算を計算するインテリジェントなビデオ自動スケーリングシステムを備え、CUDA のメモリ不足（OOM）エラーやコンテキストオーバーフローを防ぎます。速度を最大化するため、ユーザーの GPU アーキテクチャに基づいて SageAttention、次に Flash Attention 2、最後に SDPA を優先するスマートアテンションセレクターを実装しています。

対象ユーザー

詳細な画像説明、動画分析、プロンプト拡張などの高度な視覚言語機能を生成 AI パイプラインに組み込みたい ComfyUI ユーザー向けに設計されています。

ハイライト

• 幅広いモデルサポート：Qwen3-VL（2B から 32B）、Qwen3.5-VL、Qwen3.6-VL（MoE）、Qwen3.8-VL、Qwen2.5-VL をネイティブサポート。
• デュアルエンジンバックエンド：高性能 Transformers またはメモリ効率の高い GGUF モデルを柔軟に使用可能。
• インテリジェントな動画処理：動的トークン予算推定により、小さなクリップの解像度を維持しつつ、高解像度動画でのクラッシュを防止。
• 詳細な制御：サンプリングパラメータ（温度、top_p、ビームサーチ）を微調整するためのシンプルなノードと高度なノードの両方を提供。
• ハードウェア最適化：SageAttention サポートとオンザフライ量子化（4ビット、8ビット、FP16）を統合し、VRAM 使用量と速度のバランスを実現。