deepgenteam/deepgen

해결하는 문제

DeepGen 1.0은 하나의 프레임워크 내에서 다양한 이미지 관련 작업을 처리할 수 있도록 설계된 경량 통합 다중모달 모델입니다. 이미지 생성, 편집, 추론에서 높은 성능을 달성하기 위해 거대한 모델 확장을 요구하는 문제를 해결하며, 훨씬 더 큰 최신 기술 모델에 비해 더 효율적인 대안을 제공합니다.

작동 방식

DeepGen 1.0은 3B 파라미터의 비전 언어 모델(VLM)과 2B 파라미터의 디퓨전 트랜스포머(DiT)를 결합합니다. 깊은 정렬 프레임워크인 스택드 채널 브리지(SCB)를 사용하여 VLM에서 계층적 특징을 추출하고, 이를 "think 토큰"과 융합하여 생성 백본을 안내합니다.

모델은 세 단계로 훈련됩니다:

1. 정렬 사전 훈련: 대규모 이미지-텍스트 쌍과 편집 트리플릿을 사용하여 VLM과 DiT 표현을 동기화합니다.
2. 공동 지도 미세조정(SFT): 생성, 편집, 추론 작업의 혼합 데이터로 훈련합니다.
3. 강화 학습(RL): MR-GRPO를 사용하여 다양한 보상 함수의 혼합을 통해 생성 품질과 인간 선호도 일치를 향상시킵니다.

대상 사용자

이 프로젝트는 다중모달 AI에 종사하는 연구자 및 개발자에게 적합합니다. 특히 텍스트에서 이미지 생성, 이미지 편집, 추론 기반 이미지 조작에 사용할 수 있는 경량이면서 강력한 모델을 찾는 분들에게 적합합니다.

주요 특징

• 통합 기능: 하나의 모델에서 일반 이미지 생성, 일반 이미지 편집, 추론 기반 이미지 생성, 추론 기반 이미지 편집, 텍스트 렌더링을 모두 지원합니다.
• 경량 아키텍처: 총 5B 파라미터(3B VLM + 2B DiT)로, 3배에서 16배 더 큰 모델과 경쟁 가능한 성능을 발휘합니다.
• 추론 중심 가이드: 스택드 채널 브리지(SCB)를 활용해 더 나은 의미 이해와 세밀한 제어를 가능하게 합니다.
• Diffusers 호환: Hugging Face Diffusers 라이브러리와 호환되는 형식을 제공하여 간편한 통합이 가능합니다.