nihui/zimage-ncnn-vulkan

해결하는 문제

이 프로젝트는 Z-Image 이미지 생성 모델의 고성능 및 포터블 구현을 제공합니다. CUDA나 PyTorch와 같은 복잡한 환경을 필요로 하지 않으며, Windows, Linux, macOS의 다양한 하드웨어에서 고급 이미지 생성, 인페인팅, 아웃페인팅을 가능하게 합니다.

작동 방식

ncnn 유니버설 신경망 추론 프레임워크와 Vulkan API를 사용하여 Z-Image 기초 모델(단일 스트림 확산 변환기)을 실행합니다. Vulkan을 활용함으로써 Intel, AMD, NVIDIA, Apple Silicon GPU에서 모두 작동할 수 있습니다. 다음과 같은 고급 워크플로우를 지원합니다:

• 텍스트에서 이미지 생성: 텍스트 프롬프트로부터 이미지를 생성합니다.
• LanPaint 인페인팅/아웃페인팅: 마스크를 사용하거나 캔버스 경계를 확장하여 이미지의 특정 영역을 수정합니다.
• 허깅페이스 모델: Z-Image-Turbo 및 ControlNet 모델 폴더에서 사전 학습된 가중치를 로드합니다.
• ControlNet: 포즈나 Canny 에지 맵과 같은 제어 이미지를 사용하여 생성된 이미지의 구조를 안내합니다.
• 타일 ControlNet: 저해상도 이미지를 고해상도로 업스케일링합니다.

대상 사용자

무거운 머신러닝 프레임워크를 설치하지 않고 로컬에서 AI 이미지를 생성하고 싶은 사용자, 그리고 비-NVIDIA GPU를 사용하면서도 하드웨어 가속을 활용하고 싶은 사용자.

주요 특징

• 크로스플랫폼 포터블: CUDA나 PyTorch를 필요로 하지 않고 Windows, Linux, macOS에서 작동합니다.
• 광범위한 하드웨어 지원: Vulkan 대응 GPU(Intel, AMD, NVIDIA, Apple Silicon) 모두 호환됩니다.
• 고급 이미지 편집: LanPaint 인페인팅 및 아웃페인팅을 통합 지원합니다.
• 구조적 안내: 포즈, Canny, 그레이스케일 안내를 위한 ControlNet 지원이 포함되어 있습니다.
• 업스케일링: 이미지 해상도를 높이기 위한 타일 ControlNet 모드를 제공합니다.