ModelTC/LightX2V-Qwen-Image-Lightning

📌 Qwen‑Image‑Lightning とは？

Qwen‑Image‑Lightning は、QwenLM チームによってリリースされた Qwen‑Image テキストから画像へのモデルの蒸留（つまり、より高速で軽量）されたチェックポイントファイルのセットです。「Lightning」モデルは、画像内に複雑な中国語/英語のテキストをレンダリングする元の能力を維持していますが、はるかに少ない拡散ステップ（100 ステップのベースラインの代わりに 4 または 8 ステップ）を必要とし、わずかな品質低下だけで 12〜25 倍の高速化を実現します。

🔧 主なコンポーネント

コンポーネント	内容	典的な用途
Lightning チェックポイント	Qwen‑Image（ベース）および Qwen‑Image‑Edit（編集）用の蒸留された重みを含む `.safetensors` ファイル（fp32, bf16, fp8）。	🤗 Diffusers、ComfyUI、または Qwen‑Image をサポートする任意のパイプラインで読み込み。
LoRA 重み	ベースモデルの上に適用して品質を向上させたり、FP8 ベースに適応させたりできる低ランクアダプター（「Lightning LoRAs」）。	微調整、または視覚的な忠実度を高めるために既存の LoRA と組み合わせる。
ComfyUI ワークフロー	ComfyUI ビジュアルエディタで実行可能なグラフを記述した JSON ファイル。	ComfyUI 内でのワンクリック生成または編集。
評価スクリプト	キャッシュアクセラレーションや 4 ビット量子化を使用してモデルを実行する方法を示す例スクリプト（例：Nunchaku リポジトリ内）。	速度/品質のベンチマークや GPU メモリの削減。

🚀 なぜ Lightning バージョンを使うのか？

速度 – 4 ステップモデルは、元の 100 ステップ拡散のわずかな時間で実行されます。
メモリフレンドリー – FP8 / 4 ビットバリアントにより、単一のコンシューマー向け GPU で実行できます。
互換性 – 公式の 🤗 Diffusers QwenImagePipeline、ComfyUI、および Nunchaku や Cache‑dit などのサードパーティツールで動作します。
品質重視の更新 – V2.0 は V1.x と比較して過飽和や肌のテクスチャを改善しています。

📂 はじめに

チェックポイントを選択 – 必要なステップ数（4 または 8）と精度（fp32, bf16, fp8）を選択します。リンクは最新ニュースセクションにあります。

Diffusers で読み込み

from diffusers import QwenImagePipeline
pipe = QwenImagePipeline.from_pretrained("lightx2v/Qwen-Image-Lightning-4steps-V2.0")
image = pipe(prompt="...", num_inference_steps=4).images[0]

オプションの LoRA – FP8 ベースを使用している場合は、一致する Lightning LoRA をダウンロードし（「FP8 モデルでの Lightning LoRA の使用」表を参照）、pipe.unet.add_adapter() で適用します。
ComfyUI – 提供された JSON ワークフロー（workflows/...json）を開き、視覚的にモデルを実行します。

📊 報告されているパフォーマンス（README より）

モデル	ステップ数	ベースに対する高速化	典型的な品質に関する注意点
Qwen‑Image‑Lightning‑8steps‑V1.1	8	約 12 倍高速	全体的に良好だが、髪のようなディテールがわずかにぼやけることがある。
Qwen‑Image‑Lightning‑4steps‑V1.0	4	約 25 倍高速	非常に高速だが、密集したシーンで細かいテキストレンダリングが失われる可能性がある。
V2.0（4 ステップと 8 ステップの両方）	4 / 8	同様の速度	過飽和の軽減、より良い肌色。

README ではまた、非常に密集または小さなテキストについては元の 100 ステップモデルが依然として最もパフォーマンスが高いこと、そして極めて複雑なシーンはすべてのバージョンにとって課題になる可能性があることが記載されています。

🛠️ 既知の問題と修正

BF16 でトレーニングされた LoRA と元の FP8 ベースを使用した場合のグリッドアーティファクト。リポジトリは 2 つの解決策を提供しています：
1. FP8 ベースでトレーニングされた新しく蒸留された Lightning LoRA を使用する。
2. 既存の LoRA とより適切に整合するスケーリングされた FP8 ベースウェイト（qwen_image_fp8_e4m3fn_scaled.safetensors）に切り替える。
公式の Qwen‑Image FP8 モデルとの互換性は 2025 年 10 月に修正されました（Issue #32 を参照）。

📚 詳細を学ぶには

Diffusers ドキュメント – https://huggingface.co/docs/diffusers/main/api/pipelines/qwenimage
ComfyUI チュートリアル – https://docs.comfy.org/tutorials/image/qwen/qwen-image
Nunchaku サンプルスクリプト – https://github.com/nunchaku-tech/nunchaku/blob/main/examples/v1/qwen-image-lightning.py
Cache‑dit 3.5 ステップ推論 – https://github.com/vipshop/cache-dit/blob/main/examples/pipeline/run_qwen_image_lightning.py

🎯 TL;DR

Qwen‑Image‑Lightning は、Qwen‑Image テキストから画像へのモデル用の高速で低ステップの蒸留チェックポイント（4 / 8 ステップ）を提供し、複数の精度フォーマットとすぐに使える LoRA アダプターを備えています。主要な拡散ツールキット（🤗 Diffusers, ComfyUI）と統合されており、複雑な中国語/英語のテキストをレンダリングする際の際立った能力を維持しながら、元のモデルからの明確なアップグレードパスを提供します。