Orthrus-Qwen3: 확산 기반 투기적 디코딩을 통한 LLM 추론 가속화

대부분의 현대 대규모 언어 모델(LLM)의 아키텍처인 자기회귀(AR) Transformer의 과제는 그 순차적인 특성에 있습니다. 토큰을 하나씩 생성하는 것은 계산 비용이 많이 드는 프로세스이며, 이는 종종 실제 애플리케이션의 병목 현상이 됩니다. 이를 해결하기 위해 연구자들은 더 작고 빠른 'drafter' 모델이 여러 토큰을 미리 예측하고, 더 큰 'target' 모델이 이를 병렬로 검증하는 투기적 디코딩(speculative decoding)을 탐구해 왔습니다.

Orthrus-Qwen3는 고정된 Qwen3 백본에 학습 가능한 확산 어텐션(diffusion attention) 모듈을 각 레이어에 직접 통합함으로써 이 문제에 대한 새로운 접근 방식을 도입합니다. 전통적인 투기적 디코딩과 달리, Orthrus는 외부 drafter 모델이나 별도의 KV cache를 필요로 하지 않으며, 정확도를 희생하지 않으면서 상당한 속도 향상을 가져옵니다.

Orthrus의 작동 방식: 확산-어텐션 메커니즘

핵심적으로, Orthrus는 각 레이어에 학습 가능한 확산 어텐션 모듈을 주입하여 표준 AR Transformer를 수정합니다. 주요 혁신은 기본 모델(고정된 AR Transformer)과 확산 헤드(diffusion head)가 단일 KV cache를 공유하도록 설계되었다는 점입니다.

프로세스는 두 단계로 작동합니다:

확산 패스(The Diffusion Pass): 확산 헤드는 $K=32$개의 토큰을 병렬로 투영합니다. 이는 여러 잠재적 다음 토큰을 예측하는 단일 단계 디노이징(denoising) 프로세스입니다.
검증 패스(The Verification Pass): 그 다음 AR 헤드가 두 번째 패스에서 이 토큰들을 검증합니다. 이는 기본 모델의 원래 출력 분포와 일치하는 가장 긴 일치 접두사(prefix)를 수락합니다.

기본 모델의 가중치가 고정되어 있기 때문에, 출력 분포는 원래 Qwen3 모델과 증명 가능하게 동일합니다. 이는 사용자가 동일한 품질의 응답을 받으면서도 훨씬 더 높은 속도로 응답을 받을 수 있음을 보장합니다.

성능 벤치마크 및 장점

저자들에 따르면, Orthrus-Qwen3는 전통적인 확산 LM 및 기존 투기적 디코딩 방법 모두와 비교하여 처리량(throughput)과 효율성 면에서 상당한 개선을 제공합니다.

처리량 및 속도

Tokens Per Forward (TPF): Orthrus는 MATH-500 벤치마크에서 최대 7.8x TPF를 달성하며, 약 6x의 실제 시간(wall-clock) 속도 향상을 달성합니다.

확산 LM과의 비교

전통적인 확산 LM(Dream, Fast-dLLM-v2, Mercury 등)은 병렬 생성을 가능하게 하기 위해 모델의 기본 가중치를 수정하는 경우가 많습니다. 이는 빈번하게 정확도 저하를 초래합니다. 예를 들어, Fast-dLLM-v2는 MATH-500에서 11포인트 하락을 보였습니다. 반면, Orthrus는 백본을 고정하여 정확도가 Qwen3-8B와 정확히 일치하도록 보나합니다.

투기적 디코딩과의 비교

EAGLE-3 및 DFlash와 같은 방법과 비교할 때, Orthrus는 몇 가지 아키텍처적 장점을 제공합니다:

외부 Drafter 없음: 별도의 모델을 초기화하거나 동기화할 필요가 없으므로, Time to First Token (TTFT) 페널티가 제거됩니다.
메모리 효율성: KV 오버헤드는 최소한이며, $O(1)$(약 4.5 MiB 평면)을 유지합니다.
높은 수락률(Acceptance Rates): MATH-500 벤치마크에서 Orthrus는 수락 길이(acceptance length) 11.7을 달성했으며, 이는 DFlash의 7.9 및 EAGLE-3의 3.5와 비교됩니다.

학습 및 구현 세부 사항

Orthrus의 구현은 학습 요구 사항 측면에서 매우 효율적입니다. 파라미터의 16%만 학습되며, 8x H200 GPU를 사용하여 24시간 동안 1B 미만의 토큰으로 학습되었습니다.

연구자들은 KL distillation이 수락률을 개선하는 데 Cross-Entropy (CE)보다 더 나은 성능을 보였으며, 단일 단계 디노이징(single-step denoising) 프로세스 (6.35 TPF)가 다단계 디노이징 (3.53 TPF)보다 우수한 성능을 것을 확인했습니다.

한계 및 고려 사항

Orthrus-Qwen3의 결과는 인상적이지만, 모델은 현재 고정된 기본 모델에 의해 제한됩니다. 이는 원래 Qwen3의 모든 편향, 환각, 지식 격차를 그대로 물려받는다는 것을 의미합니다. 또한, 현재 평가는 Qwen3 및 greedy/rejection sampling 방법으로 제한됩니다.

커뮤니티에서 이 연구의 잠재력을 논의함에 따라, 다른 모델(DeepSeek-V3 또는 로컬 LLM 실행을 위한 양자화된 GGUF 버전)에 대한 적용 가능성에 대한 관심이 높아지고 있습니다. 만약 성공적으로 이식될 경우, 이는 대규모 AI 제공업체와 로컬 사용자 모두에게 지연 시간(latency)과 혼잡을 것을 크게 낮출 수 있습니다 있습니다.