ai-toolkit: 소비자용 하드웨어에서 확산(diffusion) 이미지, 비디오 및 오디오 모델을 미세 조정하기 위한 올인원 트레이닝 스위트

해결하는 문제

AI Toolkit은 소비자용 하드웨어에서 확산 모델을 학습시키는 것을 쉽게 만들기 위해 설계된 올인원 트레이닝 스위트입니다. 이는 기본 학습 파이프라인에 대한 깊은 기술적 전문 지식 없이도 이미지, 비디오 및 오디오 모델을 미세 조정하는 프로세스를 단순화합니다.

작동 방식

이 툴킷은 설정 파일(YAML)과 선택 가능한 인터페이스를 사용하여 다양한 확산 모델을 학습시키기 위한 통합 프레임워크를 제공합니다. 사용자는 명령줄 인터페이스(CLI) 또는 웹 기반 그래픽 사용자 인터페이스(GUI)를 통해 학습 작업을 시작, 중지 및 모니터링할 수 있습니다. LoRA 및 LoKr 학습 방법을 지원하여, 사용자가 모델의 특정 레이어를 대상으로 학습하거나 특정 가중치를 제외하여 프로세스를 최적화할 수 있도록 합니다.

대상 사용자

자신의 하드웨어 또는 RunPod 및 Modal과 같은 클라우드 기반 GPU 제공업체를 통해 특정 스타일이나 주제에 대해 확산 모델을 미세 조정하고자 하는 AI 아티스트, 개발자 및 연구원.

주요 특징

• 광범위한 모델 지원: 최신 이미지(예: FLUX.1, SDXL), 비디오(예: Wan 2.1, LTX-2), 및 오디오(예: Ace Step) 모델의 다양한 배열을 지원합니다.
• 유연한 학습: only_if_contains 및 ignore_if_contains를 사용하여 특정 네트워크 레이어를 대상으로 할 수 있는 LoRA 및 LoKr 학습을 제공합니다.
• 사용자 친화적 인터페이스: 쉬운 작업 관리 및 모니터링을 위한 웹 UI를 포함하며, 보안 원격 접속을 위한 선택적 인증을 제공합니다.
• 자동화된 데이터셋 처리: 이미지 크기 조정 및 종횡비를 자동으로 처리하여 수동 크롭 또는 업스케일링의 필요성을 제거합니다.
• 교차 플랫폼 지원: Linux, Windows와 호환되며, Silicon Macs에 대한 실험적 지원을 제공합니다.