nihui/zimage-ncnn-vulkan

解决的问题

该项目提供了一个高性能、可移植的 Z-Image 图像生成模型实现。它无需复杂的环境（如 CUDA 或 PyTorch），使用户能够在 Windows、Linux 和 macOS 上的多种硬件上运行高级图像生成、图像修复（inpainting）和图像扩展（outpainting）。

工作原理

它使用 ncnn 通用神经网络推理框架和 Vulkan API 来执行 Z-Image 基础模型（单流扩散变换器）。通过利用 Vulkan，该软件可在 Intel、AMD、NVIDIA 和 Apple Silicon GPU 上运行。支持多种高级工作流：

• 文本生成图像：从文本提示生成图像。
• LanPaint 图像修复/扩展：使用掩码修改图像的特定区域，或扩展画布边界。
• Hugging Face 模型：从 Z-Image-Turbo 和 ControlNet 模型文件夹加载预训练权重。
• ControlNet：使用控制图像（如姿态图或 Canny 边缘图）来引导生成图像的结构。
• Tile ControlNet：将低分辨率图像放大至更高分辨率。

适用人群

希望在本地生成 AI 图像而无需安装重型机器学习框架的用户，以及拥有非 NVIDIA GPU 但希望利用硬件加速的用户。

主要亮点

• 跨平台可移植：无需 CUDA 或 PyTorch，可在 Windows、Linux 和 macOS 上运行。
• 广泛硬件支持：兼容任何 Vulkan 可用 GPU（Intel、AMD、NVIDIA、Apple Silicon）。
• 高级图像编辑：集成支持 LanPaint 图像修复和扩展功能。
• 结构引导：支持姿态、Canny 和灰度图引导的 ControlNet。
• 图像放大：提供 Tile ControlNet 模式以提升图像分辨率。