ostris/ai-toolkit
The ultimate training toolkit for finetuning diffusion models
Ostris AI Toolkit이란?
Ostris AI Toolkit은 단일 머신 또는 클라우드 GPU에서 확산 모델(이미지, 비디오, 오디오, LLM)을 훈련하고 실행할 수 있는 오픈 소스 스위트입니다. 다음을 제공합니다:
- GUI 웹 UI (
http://localhost:8675에서 제공)로 훈련 작업 시작, 중지, 모니터링. - 동일한 작업을 위한 CLI. 헤드리스 서버에서 유용.
- **실험적인 "AI Toolkit Manager"**가 하드웨어를 자동 감지하고, 올바른 PyTorch 빌드를 설치하고, 가상 환경을 만들고, Node.js와 FFmpeg를 번들하므로 시스템 전체에 아무것도 설치되지 않습니다.
- Hugging Face의 사전 훈련된 확산 모델(FLUX, SDXL, Qwen-Image 등)을 지원하며, 이미지 생성, 명령 기반 편집, 비디오 생성, 오디오 생성 및 멀티모달 LLM을 포함.
- LoRA 또는 LoKr 어댑터를 훈련하고, 특정 레이어를 타겟팅하고, 하이퍼파라미터를 사용자 정의할 수 있는 구성 파일(YAML).
- RunPod 및 Modal과 같은 클라우드 플랫폼용 통합 스크립트와 저자의 Ostris Cloud 서비스 링크.
이 툴킷은 소비자용 GPU에서 "원클릭" 경험을 원하면서도 파워 유저가 필요로 하는 모든 조정 기능을 제공하려는 취미 사용자와 연구자를 대상으로 합니다.
주요 기능
| 기능 | 세부 사항 |
|---|---|
| 모델 카탈로그 | 40개 이상의 확산 모델(이미지, 비디오, 오디오)과 1개의 LLM이 나열되어 있으며, 각각 Hugging Face 저장소에 연결됩니다. |
| 훈련 UI | Node.js로 구축된 웹 UI. 원격 액세스를 위한 토큰 기반 인증. |
| CLI / 매니저 | `python -m manager install |
| LoRA / LoKr 지원 | 구성 기반 어댑터. only_if_contains / ignore_if_contains를 통한 레이어 타겟팅. |
| 크로스 플랫폼 | Linux, macOS (Apple Silicon, 실험적), Windows용 스크립트. |
| 클라우드 준비 | 기성 RunPod 포드 템플릿, Modal 배포 가이드, 선택적 Ostris Cloud GPU 대여. |
| 데이터셋 처리 | 간단한 폴더에 *.jpg/png 및 일치하는 *.txt 캡션. 자동 버케팅 및 크기 조정. |
| 보안 | UI 토큰(AI_TOOLKIT_AUTH)으로 노출된 서버 보호. |
누가 사용할까요?
- 아티스트 및 크리에이터: 자신의 하드웨어에서 확산 모델을 미세 조정하고 싶지만 보일러플레이트 코드를 작성하고 싶지 않은 사람.
- 연구자: 최신 FLUX 또는 SDXL 체크포인트에서 LoRA/LoKr을 빠르게 실험하고 싶은 사람.
- 개발자: PyTorch, Node, FFmpeg, UI를 번들한 자체 포함 환경을 찾는 사람.
- 학생: 확산 훈련을 위한 실습 플레이그라운드를 원하고 브라우저에서 결과를 보고 싶은 사람.
시작하기 (간단)
- 저장소를 클론합니다.
- 플랫폼별
run_*.sh/.bat스크립트를 실행합니다. 매니저가 가상 환경을 만들고, CUDA 지원 PyTorch를 설치하고, UI를 시작합니다. config/examples/에서 구성을 선택하고(예:train_lora_flux_24gb.yaml), 경로/캡션을 편집한 후 다음을 실행합니다:python run.py config/your_config.yml- 웹 UI 또는 터미널에서 진행 상황을 모니터링합니다.
제한 사항 / 참고 사항
- AI Toolkit Manager는 실험적으로 표시되어 있습니다. 수동 설치 단계로 대체할 수 있습니다.
- JPEG/PNG 이미지만 지원됩니다. WebP는 현재 손상되었습니다.
- UI는 선택 사항입니다. 훈련은 완전히 스크립트화할 수 있습니다.
- 일부 모델(예: FLUX.1-dev)에는 Hugging Face 액세스 토큰이 필요합니다.
라이선스 및 커뮤니티
프로젝트는 무료이며 오픈 소스입니다(README에 라이선스가 명시되지 않음). 저자는 지원을 위해 Discord 참여를 권장하며 지속적인 개발을 지원하려는 사람들을 위한 스폰서십 옵션을 나열합니다.
요약: Ostris AI Toolkit은 확산 모델을 위한 진정한 기능이 풍부한 훈련 스위트로, 편리한 웹 UI와 완전한 CLI 제어를 제공하며 광범위한 모델 지원과 클라우드 배포 가이드를 갖추고 있습니다.
위의 모든 정보는 저장소의 README에서 직접 가져온 것이며 외부 가정은 추가되지 않았습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트