ostris/ai-toolkit

The ultimate training toolkit for finetuning diffusion models

해결하고자 하는 문제

AI Toolkit은 소비자용 하드웨어에서도 확산 모델 훈련을 쉽게 할 수 있도록 설계된 올인원 트레이닝 스위트입니다. 이미지, 비디오, 오디오 모델의 파인튜닝 과정을 단순화하고, 데이터셋 준비부터 모델 저장까지 전체 파이프라인을 포괄하는 도구 세트를 제공합니다.

작동 방식

이 툴킷은 명령줄 인터페이스(CLI)와 웹 기반 그래픽 사용자 인터페이스(GUI)를 모두 제공하여 훈련 작업을 관리합니다. 사용자는 YAML 파일을 통해 훈련 실행을 설정하고, 모델 유형, 네트워크 설정(LoRA 또는 LoKr 등) 및 데이터셋 경로를 지정할 수 있습니다. 시스템은 이미지 리사이징과 종횡비 버킷팅을 자동으로 처리하여 수동 크롭이 필요 없게 합니다.

대상 사용자

자신의 하드웨어 또는 RunPod, Modal과 같은 클라우드 GPU 제공자를 통해 FLUX, SDXL, Wan 2.1 등 확산 모델을 파인튜닝하고자 하는 AI 아티스트, 개발자, 연구자를 위한 제품입니다.

주요 특징

  • 광범위한 모델 지원: FLUX 계열, SDXL, Wan 2.1을 포함한 다양한 이미지, 명령/편집, 비디오, 오디오 확산 모델을 지원합니다.
  • 유연한 훈련 방식: LoRA와 LoKr 훈련을 지원하며, only_if_contains와 ignore_if_contains 필터를 사용해 특정 레이어를 타깃하거나 제외할 수 있습니다.
  • 사용자 친화적인 인터페이스: 작업 시작, 중지 및 모니터링을 위한 웹 UI를 제공하며, 옵션 인증을 통해 안전한 원격 접근을 보장합니다.
  • 하드웨어 접근성: 소비자용 GPU에 최적화되어 있으며, 클라우드 GPU 제공자와의 통합도 용이합니다.
  • 간소화된 데이터셋 처리: 이미지 다운스케일링과 종횡비 버킷팅을 자동으로 관리하여 다양한 비율의 이미지를 지원합니다.