hollowstrawberry/kohya-colab

해결하는 문제

이 프로젝트는 강력한 로컬 하드웨어가 없는 사용자들이 기술적 장벽을 극복할 수 있도록 접근성 높고 사용하기 쉬운 Google Colab 노트북을 제공합니다. Stable Diffusion LoRA(저랭크 적응) 모델을 훈련시키는 과정을 단순화하여 데이터셋 준비 및 모델 가중치 학습을 쉽게 할 수 있도록 합니다.

작동 방식

이 프로젝트는 kohya-ss와 Linaqruf의 작업을 활용한 노트북 세트로 구성되어 있습니다. 주로 두 가지 주요 워크플로우를 제공합니다:

1. Dataset Maker: Gelbooru에서 이미지를 스크래핑하고, FiftyOne을 사용해 중복을 탐지하며, 시각적 인터페이스를 통해 수동으로 이미지를 큐레이션하고, Waifu Diffusion 1.4 Tagger로 태그를 생성하며, BLIP 모델을 사용해 캡션을 생성할 수 있습니다. 또한 텍스트 파일에서 태그를 일괄 편집할 수 있습니다.
2. Lora Trainer: 일반 Stable Diffusion 및 Stable Diffusion XL (SDXL)용 LoRA 및 LoCon 모델을 위한 전용 노트북으로, T4, A100 등 다양한 GPU 구성 지원 및 Google Drive와 직접 통합되어 저장소로 활용할 수 있습니다.

대상 사용자

고성능 GPU를 로컬에 보유하지 않고도 Stable Diffusion용 맞춤형 LoRA 모델을 만들고 싶은 아티스트 및 AI 이미지 생성 애호가.

주요 특징

• 통합된 데이터셋 파이프라인: 이미지 스크래핑, 중복 제거, 캡션 및 태그 생성을 위한 도구 포함.
• SDXL 지원: 애니메이션 전용 모델 옵션을 포함한 Stable Diffusion XL 전용 트레이너.
• 클라우드 기반 훈련: Google Colab에서 완전히 실행되며, 무료 계정(T4) 또는 유료 계정(A100)을 통해 고성능 훈련을 가능하게 합니다.
• Google Drive 통합: 데이터셋 및 학습된 모델을 Google Drive와 네이티브로 연동하여 저장 가능.