Qwen-Image-2.1 发布：支持原生透明度的 7B 统一文生图与编辑模型
TL;DR
Qwen-Image-2.1 提供了一个紧凑的 7B 视觉生成核心，能够在单一模型中实现图像创建与编辑（包括透明 PNG），同时支持多达十张参考图、灵活的区域编辑，并提升了人像和产品的保真度。
紧凑高效的架构
结论： 该模型采用 32 层单流 DiT（Single-Stream DiT）和混合粒度注意力机制，使其既轻量（7B 参数）又快速。
- 视觉生成组件包含 32 层 DiT，拥有 7B 参数。
- 推理速度得益于 文本的 token 级因果掩码 和 图像生成的 chunk 级掩码。
- KV-cache 复用 允许模型将输入图像和编辑指令视为静态上下文，从而减少内存占用并加速多图编辑。
- 在内部 Qwen-Image-Bench 上的基准测试显示，其质量可与更大的闭源模型相媲美，且运行成本远低于后者。
原生透明度与统一的创建/编辑
结论： Qwen-Image-2.1 集成了早期 Qwen-Image-Layered 模型的透明度功能，允许提示词直接请求 RGBA 输出。
- 支持在不透明和透明输出之间进行提示词驱动的选择。
- 无需单独的后处理步骤即可生成复杂的透明合成图像（包含多个元素）。
- 支持透明图层的编辑——例如在保留 Alpha 通道的同时改变面部表情。
- 可以将 RGB 照片中的主体提取为 RGBA 图层，简化资产复用。
多功能的编辑特性
多参考图
结论： 最多可以将十张输入图像组合成一个连贯的合成图像。
- 展示的用例：合影（6 张参考图）、虚拟试穿（5 张参考图）以及全屋室内设计（10 张参考图）。
灵活的区域选择
结论： 用户可以通过圆形、涂抹标注或单独的掩码来指定编辑位置。
- 圆形引导编辑允许同时修改不同区域。
- 涂抹引导编辑允许用户直接在图像上绘制任意掩码。
- 提供原始图像加二值掩码可以在编辑掩码区域的同时保留未触及的内容。
- 顺序掩码引导编辑支持逐帧动画的创建。
保真度提升
结论： 该模型在人像中能更好地保持身份一致性，并在编辑过程中维护产品细节（文字、纹理、形状）。
- 人像示例展示了在多次编辑中一致的面部特征。
- 产品示例保留了品牌元素和表面纹理。
扩展的任务覆盖范围
结论： Qwen-Image-2.1 开箱即用地处理全景图、信息图和故事板。
- 自拍照可以扩展为 360° 全景图。
- 模型照片可以转化为信息丰富的信息图。
- 三视图角色草图可以转换为完整的故事板。
逼真的纹理与精致的美学
结论： 文字渲染、排版和人像光影得到了专门的增强。
- 文字生成尊重字体样式、布局以及与周围场景的融合。
- 人像展现了改进的光影和精细细节，减少了“AI 味”。
社区反馈亮点 (Hacker News)
- 正面： 用户称赞该模型的小巧体积（7B 对比 Qwen-Image-1 的 20B）和原生透明度，指出其足以媲美更大的商业产品。
- 性能： 在 RTX 4090 上，使用提供的
convrot推理脚本处理 1 MP 图像大约需要 5 秒。 - 许可担忧： 该发布采用限制性的“Qwen RESEARCH LICENSE”，禁止在没有单独协议的情况下进行商业使用，这与早期的 Apache-2.0 许可形成对比。
- 文字渲染： 一位运行 UI 设计平台的用户报告称，Qwen-Image-2.1 的文字保真度超过了所有其他开源权重模型，尽管过长的提示词可能会使文本编码器过载。
- 局限性： 一些评论者指出偶尔会出现提示词遵循失败（例如 3D 文字错位）以及残留的 VAE 伪影，特别是在中间色调区域。
- 文化偏见： 观察表明，除非通过明确的参考图引导，否则模型可能会默认生成亚洲面部特征。
实际应用意义
- 设计与资产创建： 原生 RGBA 输出消除了对单独背景移除工具的需求，简化了 UI/UX 设计流程。
- 电子商务： 高保真产品编辑保留了品牌标识，适用于目录生成。
- 内容制作： 多参考图和基于区域的编辑实现了营销视觉图、故事板和全景图的快速合成。
- 研究： 混合粒度注意力架构为平衡 token 级文本控制与 chunk 级图像效率提供了蓝图。
入门指南
- 代码： https://github.com/QwenLM/Qwen-Image-2.1
- 模型权重： https://huggingface.co/Qwen/Qwen-Image-2.1
- 推理脚本： 该仓库包含
convrot，可在 RTX 4090 上实现快速的 1 MP 生成（约 5 秒）。 - 硬件提示： 用户报告在 8 GB GPU 上通过降低批处理大小和 512 像素分辨率可以成功运行。
结论
Qwen-Image-2.1 证明了 7B 扩散模型 可以在保持计算效率的同时，提供高质量的生成、原生透明度和复杂的图像编辑功能。其统一的方法降低了设计师、开发者和研究人员的门槛，尽管限制性的许可可能会限制其商业采用。
Sources
相关
- Dispatch
- 项目
- Dispatch
- Dispatch
- Dispatch