ByteVisionLab/DreamLite

해결하는 문제

DreamLite는 모바일 기기에서 직접 고해상도 이미지 생성 및 편집을 위한 컴팩트한 확산 모델입니다. 최신 스마트폰에서 1024x1024 이미지를 수초 내에 생성하거나 편집할 수 있는 경량 아키텍처를 통해 클라우드 의존성을 제거합니다.

작동 방식

이 프로젝트는 절단된 모바일 U-Net 백본(0.39B 파라미터)을 사용하며, 잠재 공간에서의 컨텍스트 내 공간 연결을 통해 텍스트 기반 이미지 생성과 이미지 편집 작업을 통합합니다. 고속을 위해 단계적 스텝 증류를 활용하여 'Mobile' 버전이 단 4단계로 추론을 수행할 수 있습니다. Hugging Face Diffusers 라이브러리와 호환되며, 온디바이스 배포를 위한 4비트 양자화를 지원합니다.

대상 사용자

외부 서버에 의존하지 않고 빠르고 고해상도의 이미지 생성 및 편집이 필요한 온디바이스 AI 애플리케이션을 개발하는 개발자 및 연구자에게 적합합니다.

주요 특징

• 통합 모델: 하나의 네트워크 아키텍처로 텍스트 기반 이미지 생성과 텍스트 기반 이미지 편집을 모두 처리합니다.
• 초고속 추론: iPhone 17 Pro에서 약 3초 내에 1024x1024 이미지를 생성할 수 있습니다.
• 온디바이스 프라이버시: 클라우드 의존 없이 완전히 로컬에서 작동합니다.
• 사용자 정의 가능: 도메인 특화 데이터셋을 위한 LoRA 미세 조정을 지원합니다.
• 배포 준비 완료: CoreML 및 mlx-vlm 양자화 스크립트를 포함한 완전한 iOS 배포 참조를 제공합니다.