DiffusionGemma 기술 보고서

DiffusionGemma는 전통적인 자동회귀(AR) 모델의 순차적 디코딩 병목 현상을 제거하기 위해 설계된 실험적인 오픈웨이트 언어 모델입니다. 이 모델은 256개 토큰의 블록을 병렬로 반복적으로 개선하는 이산 확산 기법을 사용하여, 단일 NVIDIA H100 GPU에서 초당 약 1,500개의 출력 토큰을 생성할 수 있으며, 이는 최첨단 사전 추측 디코딩보다도 뛰어난 성능을 보입니다.

아키텍처 및 훈련 파이프라인

DiffusionGemma는 처음부터 훈련되지 않습니다. 대신, 38억 개의 활성 파라미터와 총 252억 개의 파라미터를 가진 혼합 전문가(MoE) 기반의 Gemma 4 모델에서 유도됩니다. 자동회귀(AR) 모델에서 디노이저로의 변환은 모든 토큰의 로짓을 활용함으로써 이루어지며, 이는 기존 AR 모델이 보유한 기능이지만 일반적인 생성 과정에서는 자주 사용되지 않습니다.

훈련 과정은 원래 AR 모델의 전체 훈련 토큰 예산의 10% 미만만 소모하는 계산 효율적인 이단계 파이프라인을 사용합니다:

감독적 미세조정(SFT): 첫 번째 단계에서는 모델이 양방향 디노이징을 학습합니다.
강화학습(RL) 및 샘플러 정제: 두 번째 단계에서는 RL과 샘플러 정제를 결합하여 생성 품질과 전체 추론 효율성을 동시에 향상시킵니다.

성능 및 기능

DiffusionGemma는 생성 속도와 모델 능력 사이의 트레이드오프에서 새로운 파레토 경계를 달성합니다. 평균적으로 모델은 한 번의 순전파에서 약 20개의 토큰을 생성하여 H100 GPU에서 초당 1,500개 토큰의 처리량을 유지합니다.

확산 기반 디코딩으로 전환되었음에도 불구하고, 모델은 기반 모델인 Gemma 4의 핵심 기능을 유지하고 있습니다:

사고 모드: 내부 추론 과정을 지원합니다.
다중 모달 입력: 다양한 입력 유형을 처리할 수 있습니다.
긴 컨텍스트: 확장된 컨텍스트 창을 지원합니다.

또한, 모델은 자동회귀 생성을 거의 손실 없이 수행할 수 있어, 하이브리드 확산-AR 디코딩 시스템으로의 전환 가능성을 시사합니다.

커뮤니티 인사이트 및 구현

커뮤니티 논의에서는 이 접근 방식이 다른 오픈웨이트 모델에도 적용되어 기존 로컬 LLM의 고속 확산 버전을 만들 수 있을 가능성에 주목하고 있습니다.

하드웨어 최적화

로컬 하드웨어에서 모델을 구현한 사용자들은 Apple Silicon에서 성공적인 결과를 보고했습니다. 한 개발자는 확산 디코딩이 메모리 대역폭이 아닌 계산 능력에 의해 제한된다는 점을 지적하며, 계산 능력은 높지만 메모리 대역폭이 제한된 장치에 특히 적합하다고 설명했습니다.

"M3급 기기에서 약 15토큰/초까지 올릴 수 있었어요... 적절한 드래프터와 함께 DiffusionGemma는 제 기기에서 초당 20~30토큰까지 도달할 수 있습니다."

소프트웨어 개발에 미치는 영향

일부 분석가들은 만약 확산 모델이 코딩 분야에서 높은 전문성을 갖게 된다면, 초고속 생성(초당 1,500토큰)으로 인해 소프트웨어 개발의 병목 현상이 모델 생성에서 CPU 실행 시간으로 이동할 것이라고 제안합니다. 이는 컴파일러, 테스트 스위트 러너, 개발 스택 설계 방식을 재고하게 만들 수 있으며, LLM 제안과 병렬로 컴파일과 단위 테스트를 수행할 수 있도록 설계할 수 있습니다.

일반화 가능성

커뮤니티에서는 Qwen과 같은 다른 모델에도 이 접근 방식을 적용할 수 있는지에 대한 관심이 매우 높으며, 이는 소비자급 GPU를 보유한 사용자들에게 로컬 추론 속도를 극적으로 향상시킬 수 있을 것으로 기대됩니다.