KohakuBlueleaf/LyCORIS

해결하는 문제

LyCORIS는 Stable Diffusion 모델을 사용자 맞춤형으로 조정하기 위한 파라미터 효율적인 미세조정(PEFT) 알고리즘의 세트를 제공합니다. 전체 모델 체크포인트 대신 작고 이동 가능한 어댑터 모델을 훈련할 수 있게 해주며, 쉽게 공유하고 결합할 수 있어 미세조정에 필요한 저장 공간과 계산 자원을 줄일 수 있습니다.

작동 방식

이 프로젝트는 표준 LoRA를 넘어서는 저랭크 적응 기술을 구현합니다. 어떤 모듈에도 적용 가능한 독립형 PyTorch 래퍼를 제공하며, sd-scripts 및 sd-webui, ComfyUI와 같은 인기 있는 훈련 스크립트와 인터페이스와의 통합도 지원합니다.

구현된 주요 알고리즘은 다음과 같습니다:

• LoRA/LoCon: 표준 저랭크 적응 및 합성곱 계층 확장
• LoHa: 저랭크 하다마르 곱
• LoKr: 크로네커 곱 적응
• (IA)³: 인퓨즈드 어댑터
• DyLoRA: 동적 LoRA

최근 업데이트에서는 트라이온과 타일랭을 사용한 실험적인 융합 커널을 도입하여 훈련 및 추론 시 장치 시간과 VRAM 사용량을 크게 줄였습니다.

대상 사용자

• AI 아티스트 및 모델 트레이너: 전체 모델을 훈련하지 않고도 특정 캐릭터, 스타일, 개념에 맞게 Stable Diffusion를 맞춤화하고 싶은 사용자
• ML 연구자: 이미지 생성을 위한 다양한 저랭크 적응 방법을 탐구하고 싶은 사람
• 개발자: 여러 미세조정된 어댑터를 통합할 수 있는 방법이 필요한 이미지 생성 파이프라인을 구축하는 사람

주요 특징

• 다양한 알고리즘 지원: LoHa, LoKr, (IA)³를 포함한 다양한 PEFT 방법을 구현
• 고성능: 실험적 융합 커널(Triton/TileLang)을 통해 이지 모드 대비 1.4x~7.3x의 속도 향상
• 광범위한 통합: sd-webui, ComfyUI, InvokeAI에서 네이티브 지원
• 유연한 API: 어떤 PyTorch 모듈에도 독립형 래퍼로 사용 가능하거나 고수준 훈련 스크립트를 통해 사용 가능