Qwen-Image-2.1 リリース: ネイティブ透過処理に対応した7B統合型テキスト・画像生成および編集モデル

TL;DR

Qwen-Image-2.1は、コンパクトな7Bのビジュアル生成コアを提供します。単一モデルで画像の生成と編集(透過PNGを含む)が可能であり、最大10枚の参照画像、柔軟な領域ベースの編集、そしてポートレートや製品に対する高い忠実度を実現しています。


コンパクトで効率的なアーキテクチャ

結論: このモデルの32層のSingle-Stream DiTレイヤーと混合粒度アテンションにより、軽量(7Bパラメータ)かつ高速な動作を実現しています。

  • ビジュアル生成コンポーネントには、32層のDiTレイヤーと7Bパラメータが含まれています。
  • 推論速度は、テキスト用のトークンレベルの因果マスクと画像生成用のチャンクレベルのマスクによって最適化されています。
  • KVキャッシュの再利用により、入力画像や編集指示を静的なコンテキストとして扱うことができ、メモリ使用量を削減し、複数画像の編集を高速化します。
  • 内部の Qwen-Image-Bench でのベンチマーク結果は、より大規模なクローズドソースモデルに匹敵する品質を示しつつ、運用コストは大幅に抑えられています。

ネイティブ透過処理と統合された生成・編集機能

結論: Qwen-Image-2.1は、以前の Qwen-Image-Layered モデルの透過処理機能を統合しており、プロンプトから直接RGBA出力を要求できます。

  • プロンプト駆動により、不透明な出力と透過出力の選択が可能です。
  • 別途の後処理ステップなしで、複雑な透過合成(複数の要素)を生成できます。
  • 透過レイヤーの編集をサポートしており、例えばアルファチャンネルを保持したまま表情を変更することが可能です。
  • RGB写真から被写体を RGBAレイヤー として抽出でき、アセットの再利用を簡素化します。

多彩な編集機能

複数の参照画像

結論: 最大10枚の入力画像を組み合わせて、一貫性のある単一の構成を作成できます。

  • 実証済みのユースケース: グループポートレート(6枚の参照)、バーチャル試着(5枚の参照)、部屋全体のインテリアデザイン(10枚の参照)。

柔軟な領域選択

結論: ユーザーは円形、塗りつぶしアノテーション、または個別のマスクを使用して編集箇所を指定できます。

  • 円形ガイドによる編集では、異なる領域を同時に修正できます。
  • ペイントガイドによる編集では、画像上に直接任意のマスクを描画できます。
  • 元の画像とバイナリマスクを提供することで、マスクされていないコンテンツを保持したまま、マスクされた領域のみを編集できます。
  • シーケンシャルなマスクガイド編集により、フレームごとのアニメーション作成が可能です。

忠実度の向上

結論: このモデルは、ポートレートにおけるアイデンティティの保持や、編集中の製品詳細(テキスト、テクスチャ、形状)の維持能力が向上しています。

  • ポートレートの例では、複数回の編集を通じて一貫した顔の特徴が維持されています。
  • 製品の例では、ブランディング要素や表面のテクスチャが保持されています。

タスク範囲の拡大

結論: Qwen-Image-2.1は、パノラマ、インフォグラフィック、ストーリーボードを標準でサポートしています。

  • 自撮り写真を360°パノラマに拡張できます。
  • モデル写真を情報量の多いインフォグラフィックに変換できます。
  • 3面図のキャラクタースケッチを完全なストーリーボードに変換できます。

リアルなテクスチャと洗練された美学

結論: テキストレンダリング、タイポグラフィ、およびポートレートのライティングに対して専用の強化が行われています。

  • テキスト生成は、フォントスタイル、レイアウト、および周囲のシーンとの統合を尊重します。
  • ポートレートはライティングが改善され、細部まで精細に描写されるため、「AI特有の不自然さ」が軽減されています。

コミュニティからのフィードバック(Hacker News)

  • ポジティブ: ユーザーは、モデルの小型サイズ(Qwen-Image-1の20Bに対し7B)とネイティブ透過処理を高く評価しており、より大規模な商用製品に匹敵すると述べています。
  • パフォーマンス: RTX 4090を使用した場合、提供されている convrot 推論スクリプトを用いて約 5秒 で1MPの画像を処理できます。
  • ライセンスに関する懸念: 今回のリリースは、商用利用を別途契約なしで禁止する制限的な「Qwen RESEARCH LICENSE」の下で提供されており、以前の Apache-2.0 ライセンスとは対照的です。
  • テキストレンダリング: UIデザインプラットフォームを運営するユーザーからは、Qwen-Image-2.1のテキスト忠実度は他のすべてのオープンウェイトモデルを凌駕しているとの報告がありますが、非常に長いプロンプトではテキストエンコーダーに負荷がかかる場合があります。
  • 制限事項: 一部のコメントでは、プロンプトへの追従失敗(例: 3Dテキストの配置ミス)や、特に中間調領域におけるVAEの残存アーティファクトが指摘されています。
  • 文化的バイアス: 明示的な参照画像でガイドしない限り、モデルがアジア系の顔の特徴をデフォルトとする傾向があるという観察結果があります。

実用的な意味合い

  • デザインとアセット作成: ネイティブなRGBA出力により、背景削除ツールが不要となり、UI/UXデザインのパイプラインが効率化されます。
  • Eコマース: 高忠実度な製品編集によりブランディングが維持されるため、カタログ生成に役立ちます。
  • コンテンツ制作: 複数参照および領域ベースの編集により、マーケティングビジュアル、ストーリーボード、パノラマの迅速な構成が可能です。
  • 研究: 混合粒度アテンションアーキテクチャは、トークンレベルのテキスト制御とチャンクレベルの画像効率のバランスをとるための青写真を提供します。

はじめに

  • コード: https://github.com/QwenLM/Qwen-Image-2.1
  • モデルウェイト: https://huggingface.co/Qwen/Qwen-Image-2.1
  • 推論スクリプト: リポジトリには、RTX 4090で高速な1MP生成を行うための convrot が含まれています(約5秒)。
  • ハードウェアのヒント: バッチサイズを減らし、解像度を512ピクセルに設定することで、8GBのGPUでも正常に動作したという報告があります。

結論

Qwen-Image-2.1は、7Bの拡散モデルであっても、計算効率を維持しながら高品質な生成、ネイティブ透過処理、高度な複数画像編集を実現できることを証明しました。その統合的なアプローチは、デザイナー、開発者、研究者の障壁を下げますが、制限的なライセンスが商用採用の妨げになる可能性があります。

Sources

関連

  • Dispatch
  • プロジェクト
  • Dispatch
  • Dispatch
  • Dispatch