ostris/ai-toolkit

The ultimate training toolkit for finetuning diffusion models

Ostris AI Toolkit이란?

Ostris AI Toolkit은 단일 머신 또는 클라우드 GPU에서 확산 모델(이미지, 비디오, 오디오, LLM)을 훈련하고 실행할 수 있는 오픈 소스 스위트입니다. 다음을 제공합니다:

  • GUI 웹 UI (http://localhost:8675에서 제공)로 훈련 작업 시작, 중지, 모니터링.
  • 동일한 작업을 위한 CLI. 헤드리스 서버에서 유용.
  • **실험적인 "AI Toolkit Manager"**가 하드웨어를 자동 감지하고, 올바른 PyTorch 빌드를 설치하고, 가상 환경을 만들고, Node.js와 FFmpeg를 번들하므로 시스템 전체에 아무것도 설치되지 않습니다.
  • Hugging Face의 사전 훈련된 확산 모델(FLUX, SDXL, Qwen-Image 등)을 지원하며, 이미지 생성, 명령 기반 편집, 비디오 생성, 오디오 생성 및 멀티모달 LLM을 포함.
  • LoRA 또는 LoKr 어댑터를 훈련하고, 특정 레이어를 타겟팅하고, 하이퍼파라미터를 사용자 정의할 수 있는 구성 파일(YAML).
  • RunPod 및 Modal과 같은 클라우드 플랫폼용 통합 스크립트와 저자의 Ostris Cloud 서비스 링크.

이 툴킷은 소비자용 GPU에서 "원클릭" 경험을 원하면서도 파워 유저가 필요로 하는 모든 조정 기능을 제공하려는 취미 사용자와 연구자를 대상으로 합니다.


주요 기능

기능 세부 사항
모델 카탈로그 40개 이상의 확산 모델(이미지, 비디오, 오디오)과 1개의 LLM이 나열되어 있으며, 각각 Hugging Face 저장소에 연결됩니다.
훈련 UI Node.js로 구축된 웹 UI. 원격 액세스를 위한 토큰 기반 인증.
CLI / 매니저 `python -m manager install
LoRA / LoKr 지원 구성 기반 어댑터. only_if_contains / ignore_if_contains를 통한 레이어 타겟팅.
크로스 플랫폼 Linux, macOS (Apple Silicon, 실험적), Windows용 스크립트.
클라우드 준비 기성 RunPod 포드 템플릿, Modal 배포 가이드, 선택적 Ostris Cloud GPU 대여.
데이터셋 처리 간단한 폴더에 *.jpg/png 및 일치하는 *.txt 캡션. 자동 버케팅 및 크기 조정.
보안 UI 토큰(AI_TOOLKIT_AUTH)으로 노출된 서버 보호.

누가 사용할까요?

  • 아티스트 및 크리에이터: 자신의 하드웨어에서 확산 모델을 미세 조정하고 싶지만 보일러플레이트 코드를 작성하고 싶지 않은 사람.
  • 연구자: 최신 FLUX 또는 SDXL 체크포인트에서 LoRA/LoKr을 빠르게 실험하고 싶은 사람.
  • 개발자: PyTorch, Node, FFmpeg, UI를 번들한 자체 포함 환경을 찾는 사람.
  • 학생: 확산 훈련을 위한 실습 플레이그라운드를 원하고 브라우저에서 결과를 보고 싶은 사람.

시작하기 (간단)

  1. 저장소를 클론합니다.
  2. 플랫폼별 run_*.sh/.bat 스크립트를 실행합니다. 매니저가 가상 환경을 만들고, CUDA 지원 PyTorch를 설치하고, UI를 시작합니다.
  3. config/examples/에서 구성을 선택하고(예: train_lora_flux_24gb.yaml), 경로/캡션을 편집한 후 다음을 실행합니다:
    python run.py config/your_config.yml
    
  4. 웹 UI 또는 터미널에서 진행 상황을 모니터링합니다.

제한 사항 / 참고 사항

  • AI Toolkit Manager는 실험적으로 표시되어 있습니다. 수동 설치 단계로 대체할 수 있습니다.
  • JPEG/PNG 이미지만 지원됩니다. WebP는 현재 손상되었습니다.
  • UI는 선택 사항입니다. 훈련은 완전히 스크립트화할 수 있습니다.
  • 일부 모델(예: FLUX.1-dev)에는 Hugging Face 액세스 토큰이 필요합니다.

라이선스 및 커뮤니티

프로젝트는 무료이며 오픈 소스입니다(README에 라이선스가 명시되지 않음). 저자는 지원을 위해 Discord 참여를 권장하며 지속적인 개발을 지원하려는 사람들을 위한 스폰서십 옵션을 나열합니다.


요약: Ostris AI Toolkit은 확산 모델을 위한 진정한 기능이 풍부한 훈련 스위트로, 편리한 웹 UI와 완전한 CLI 제어를 제공하며 광범위한 모델 지원과 클라우드 배포 가이드를 갖추고 있습니다.


위의 모든 정보는 저장소의 README에서 직접 가져온 것이며 외부 가정은 추가되지 않았습니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트