nihui/qwenimage-ncnn-vulkan

ncnn implementation of Qwen-Image-2.1, with text-to-image, image editing, multi-reference image input and transparent RGBA output

解决的问题

此项目提供 Qwen-Image-2.1 模型的高性能、可移植实现,让用户能在各种硬件上生成和编辑图像,而无需依赖 Python、PyTorch 或 CUDA 等重型依赖项。

工作原理

它使用 ncnn 通用神经网络推理框架和 Vulkan 进行 GPU 加速。这使得模型能在 Windows、Linux 和 macOS 上的 NVIDIA、AMD、Intel 和 Apple Silicon GPU 上运行。它支持完整的 BF16 精度,无需量化,并实现自动内存管理(分块和低 VRAM 模式),以将模型容纳在仅 2GB 的 VRAM 中。

适用对象

想要在消费级硬件上运行 Qwen-Image-2.1 进行图像生成和编辑的用户,尤其是偏好独立可执行文件而非复杂环境设置的用户。

亮点

  • 广泛的硬件支持:可在 NVIDIA、AMD、Intel 和 Apple Silicon GPU 以及 CPU 上运行。
  • 多功能的图像任务:支持文本到图像、图像编辑和透明 RGBA 输出。
  • 高级控制:包含对 ControlNet(姿态、Canny 等)、LoRA 以及最多 10 张参考图像的支持,用于多参考输入。
  • 可移植:以独立可执行文件形式发布,无需 Python 或 CUDA 依赖。
  • 优化性能:包含 Turbo 版本(8 步生成)并支持动态输出分辨率。

相关

  • 项目
  • 项目
  • 项目
  • 项目