shallowdream204/BitDance

해결하는 문제

BitDance는 시각적 생성 분야의 이산 자기회귀 (AR) 모델에서 흔히 발생하는 병목 현상, 특히 토크나이저 재구성 품질 저하, 방대한 어휘 사전에서의 샘플링 어려움, 토큰 단위 예측으로 인한 느린 생성 속도 문제를 해결합니다.

작동 원리

BitDance는 세 가지 핵심 혁신을 결합한 디코더 전용 아키텍처를 사용합니다:

1. 대규모 어휘 바이너리 토크나이저: 재구성 품질을 향상시키기 위해 바이너리 토큰을 사용하여 시각 데이터를 표현하는 토크나이저입니다.
2. 바이너리 확산 헤드 (Binary Diffusion Head): 대규모 이산 공간 내에서 효율적인 샘플링을 가능하게 하는 특수 헤드입니다.
3. Next-Patch Diffusion 패러다임: 한 번에 하나의 토큰을 예측하는 대신, 여러 시각적 토큰을 병렬로(단계당 최대 64개) 예측하여 생성 과정을 획기적으로 가속화합니다.

대상 사용자

멀티모달 생성 모델을 연구하는 개발자와 연구자를 위해 설계되었으며, 특히 표준 자기회귀 모델보다 빠른 추론 속도로 고해상도의 사실적인 이미지를 생성하고자 하는 사용자에게 적합합니다.

주요 특징

• 고속: 표준 다음 토큰 예측 AR 모델 대비 30배 이상의 속도 향상 달성.
• 병렬 예측: 단일 단계에서 최대 64개의 시각적 토큰을 예측 가능.
• 확장 가능한 아키텍처: 대규모 멀티모달 토큰으로 학습된 14B 파라미터 규모의 오픈 소스 기반 모델.
• 고해상도: 최대 1024px의 사실적인 이미지 생성 지원.