modelscope/DiffSynth-Studio

해결하는 문제

DiffSynth-Studio는 생성 모델의 배포와 훈련을 간소화하기 위해 설계된 오픈소스 확산 모델 엔진입니다. 대규모 확산 모델에 일반적으로 요구되는 높은 하드웨어 요구 사항을 고급 메모리 관리 및 양자화 기술을 통해 해결하여, 일반 소비자용 GPU에서도 이러한 모델을 사용할 수 있도록 합니다.

작동 방식

이 프레임워크는 다양한 모달리티의 주요 오픈소스 확산 모델을 통합합니다. 동적 스케줄링 시스템을 사용하여 모델 파라미터를 디스크, 메모리, VRAM 간에 이동시켜 자원 사용을 최적화합니다. 메모리 사용량을 추가로 줄이기 위해, 파라미터 양자화(NF4 및 INT8 등)와 CPU 오프로드 훈련을 지원하며, 훈련 중에 계층별로 모델 가중치를 이동할 수 있습니다.

대상 사용자

제한된 하드웨어 자원을 가진 개발자 및 연구자 중 이미지, 동영상, 음성 생성 모델의 추론 또는 훈련(LoRA 및 어댑터 모델 포함)을 원하는 사용자를 위한 도구입니다.

주요 기능

• 다중 모달리티 지원: 이미지, 동영상, 음성 생성 모델 및 이미지 품질 측정 지표를 통합.
• VRAM 관리: 디스크, 메모리, VRAM 간의 파라미터 동적 스케줄링을 통해 저VRAM GPU를 지원.
• 고급 양자화: 추론 및 훈련 모두에서 VRAM 요구량을 줄이는 NF4 및 INT8 양자화를 지원.
• 유연한 훈련: 베이스 모델 훈련, LoRA, 어댑터 모델을 지원하며, 계산 그래프 추론 엔진을 사용한 특수한 '스플릿 훈련' 프로세스도 제공.
• CPU 오프로드 훈련: 계층별로 가중치를 CPU와 GPU 간에 이동함으로써, 일반 소비자용 GPU에서 대규모 모델 훈련을 가능하게 합니다.