nihui/zimage-ncnn-vulkan

何を解決するか

このプロジェクトは、Z-Image画像生成モデルの高性能でポータブルな実装を提供します。CUDAやPyTorchのような複雑な環境の必要を排除し、Windows、Linux、macOSの幅広いハードウェアで、高度な画像生成、インペインティング、アウトペインティングを実行できるようにします。

動作方法

ncnnユニバーサルニューラルネットワーク推論フレームワークとVulkan APIを使用して、Z-Imageの基礎モデル（単一ストリームの拡散変換器）を実行します。Vulkanを活用することで、Intel、AMD、NVIDIA、Apple Silicon GPUで動作可能になります。以下の高度なワークフローをサポートしています：

• テキストから画像生成：テキストプロンプトから画像を生成します。
• LanPaint インペインティング/アウトペインティング：マスクを使用して画像の特定領域を編集するか、キャンバスの境界を拡張します。
• Hugging Face モデル：Z-Image-TurboおよびControlNetモデルフォルダから事前学習済み重みを読み込みます。
• ControlNet：ポーズやCannyエッジマップなどのコントロール画像を使用して、生成画像の構造をガイドします。
• タイル ControlNet：低解像度画像を高解像度にアップスケーリングします。

対象ユーザー

重い機械学習フレームワークをインストールせずにローカルでAI画像を生成したいユーザー、および非NVIDIAの多様なGPUハードウェアを持っているが、それでもハードウェアアクセラレーションを利用したいユーザー。

特徴

• クロスプラットフォームでポータブル：CUDAやPyTorchを必要とせず、Windows、Linux、macOSで動作します。
• 広範なハードウェア対応：Vulkan対応GPU（Intel、AMD、NVIDIA、Apple Silicon）すべてに対応します。
• 高度な画像編集：LanPaintのインペインティングおよびアウトペインティングを統合サポートします。
• 構造的ガイド：ポーズ、Canny、グレースケールガイドに対応するControlNetを搭載しています。
• アップスケーリング：画像解像度を向上させるためのタイルControlNetモードを備えています。