nihui/zimage-ncnn-vulkan

解決的問題

本專案提供 Z-Image 圖像生成模型的高效率、可攜式實作。無需複雜的環境（如 CUDA 或 PyTorch），讓使用者能在 Windows、Linux 和 macOS 上的多種硬體上執行高階圖像生成、圖像修復（inpainting）與圖像擴展（outpainting）。

工作原理

使用 ncnn 通用神經網路推論框架與 Vulkan API 執行 Z-Image 基礎模型（單一串流擴散轉換器）。透過利用 Vulkan，該軟體可在 Intel、AMD、NVIDIA 與 Apple Silicon GPU 上運作。支援多種進階工作流程：

• 文字生成圖像：從文字提示生成圖像。
• LanPaint 圖像修復/擴展：使用遮罩修改圖像的特定區域，或擴展畫布邊界。
• Hugging Face 模型：從 Z-Image-Turbo 與 ControlNet 模型資料夾載入預訓練權重。
• ControlNet：使用控制影像（如姿勢圖或 Canny 邊緣圖）來引導生成圖像的結構。
• Tile ControlNet：將低解析度圖像放大至更高解析度。

適用對象

希望在本地生成 AI 圖像而無需安裝重型機器學習框架的使用者，以及擁有非 NVIDIA GPU 但仍希望利用硬體加速的使用者。

主要亮點

• 跨平台可攜式：無需 CUDA 或 PyTorch，可在 Windows、Linux 與 macOS 上運作。
• 廣泛硬體支援：相容任何支援 Vulkan 的 GPU（Intel、AMD、NVIDIA、Apple Silicon）。
• 高階圖像編輯：整合支援 LanPaint 圖像修復與擴展功能。
• 結構引導：支援姿勢、Canny 與灰階圖引導的 ControlNet。
• 圖像放大：提供 Tile ControlNet 模式以提升圖像解析度。