VocabX로 SLM 어휘를 특수화하면 추론 비용이 77% 절감되는 방법

VocabX는 도메인 특화 소형 언어 모델(SLM)의 측정된 추론 비용을 프로덕션 환경에서 77% 절감하는 어휘 특수화 방법으로, 기본 모델이나 학습 레시피는 변경하지 않습니다.

이 기술은 범용 모델 토크나이저의 비효율성을 해결합니다. 범용 토크나이저는 텍스트 분할과 과잉 어휘로 인해 낭비를 발생시키며, 특히 SLM이 단일 도메인 작업에 배포될 때 문제가 됩니다.

범용 토크나이저의 비효율성

범용 언어 모델의 경우 토크나이저는 다양한 도메인의 방대한 텍스트 모음으로 학습되며, 이는 광범위한 응용에 적합합니다. 그러나 이 범용 어휘가 단일 도메인에 특화된 모델에 사용될 때 두 가지 특정 유형의 낭비가 발생합니다.

분할(Fragmentation)

분할은 토크나이저가 도메인 특화된 고빈도 반복 시퀀스(예: 계약서의 표준 조항, 채점기의 JSON 봉투, 코드의 식별자)를 여러 토큰으로 나눌 때 발생합니다. 이러한 각 분할 시퀀스는 단일 토큰으로 충분할 것을 여러 토큰으로 처리하여 요청당 총 토큰 수를 증가시킵니다.

과잉 어휘(Excess Vocabulary)

과잉은 특화된 도메인에서 사용되지 않는 수만 개의 어휘 항목이 포함되는 것을 의미합니다. 모델이 한 도메인만 학습하더라도, 각 토큰 생성 단계에서 큰 어휘의 모든 항목에 대한 확률 점수를 계산해야 하므로 불필요한 계산 자원을 소비합니다.

LLM 추론의 비용 역학

총 토큰 수가 운영 비용과 직접적으로 같지 않다는 점을 이해하는 것이 중요합니다. 비용은 추론 과정 자체에 의해 결정됩니다. LLM 추론은 프리필(prefill)과 디코드(decode)의 두 단계로 구성됩니다.

프리필 vs 디코드

프리필 단계에서 모델은 입력 전체를 한 번에 처리하며, 제한 요소는 계산입니다. 반대로 디코드 단계에서 모델은 응답을 한 번에 하나의 토큰씩 생성합니다. 디코드에서 각 토큰은 전체 패스를 필요로 하며, GPU는 대부분의 시간을 메모리에서 데이터를 기다리는 데 사용하므로 제한 요소는 메모리 대역폭입니다.

어휘가 비용에 미치는 영향

디코드의 메모리 바운드 특성은 어휘 크기에 의해 증폭됩니다. 모델의 최종 레이어인 언어 모델(LM) 헤드는 모든 어휘 항목에 대해 하나의 파라미터 행을 유지해야 합니다. 소형 모델에서 이 행렬은 파라미터의 상당 부분을 차지합니다. LM 헤드는 생성된 각 토큰에 대해 전체 어휘 행렬을 읽고 곱하기 때문에, 사용되지 않는 모든 어휘 항목은 디코드 단계마다 메모리에서 이동해야 하는 데이터를 추가합니다. 결과적으로 토큰 생성 비용은 단순히 하나를 읽는 것보다 훨씬 더 큽니다.

기존 어휘 적응 방법의 한계

모델 어휘를 적응시키는 것은 새로운 것이 아니지만, 기존 방법인 Fast Vocabulary Transfer(FVT)와 Multi-Word Tokenization(MWT)은 비용 절감에 적용할 때 두 가지 주요 한계가 있었습니다.

빈도 기반 선택

참조 방법은 일반적으로 입력에서 얼마나 자주 나타나는지에 따라 토큰을 선택합니다. 이 접근 방식은 토큰의 차등 비용을 고려하지 않습니다. 자주 나타나지만 서비스 비용이 저렴한 표현이 덜 빈번하지만 서비스 비용이 매우 높은 응답 구간보다 우선될 수 있습니다.

단일 레이어 작업

대부분의 기존 방법은 단어를 하위 단어 조각으로 자르는 방법을 조정하거나 전체 구문을 단일 토큰으로 병합하는 방법 중 하나만 수행합니다. 두 전략을 통합된 비용 인식 기준으로 결합하지 않아 JSON 봉투와 같은 길고 반복되는 구간을 압축할 기회를 놓칩니다.

VocabX 솔루션: 비용 가중 특수화

VocabX는 최적화 목표를 근본적으로 변경하고 여러 레이어에서 동시에 작동하여 이러한 한계를 해결합니다.

최적화 지표 전환

얼마나 많은 토큰이 절약되는지 묻는 대신, VocabX는 얼마나 많은 비용과 시간이 절약되는지 묻습니다. 각 잠재 토큰은 나타나는 필드(예: 시스템 프롬프트, 사용자 메시지, 모델 응답)의 가격에 따라 가중치가 부여됩니다. 측정된 채점기 응용 프로그램에서 응답에서 절약된 토큰은 입력에서 절약된 토큰보다 7.4배 높게 평가되었으며, 어휘는 이에 따라 구축되었습니다.

이중 레이어 최적화

VocabX는 동일한 비용 기준으로 두 수준에서 작동합니다.

하위 단어 레이어: 도메인 단어가 조각으로 잘리는 방식을 재구축합니다.
다중 단어 레이어(매크로): 짧은 표현부터 전체 JSON 봉투까지 반복되는 전체 구간을 식별하고 단일 토큰(매크로 토큰)으로 병합합니다.

보이지 않는 후보에 대한 통계적 추정

비용 기반 선택 프로세스를 확장하기 위해 VocabX는 작은 샘플 코퍼스에 없는 후보에 대해 이득이 0이라고 가정하지 않고 통계적 추정을 사용합니다. 샘플에서는 드물지만 전체 코퍼스에서는 빈번한 후보의 경우, VocabX는 잠재적 절감액을 통계적으로 추정하여 드물지만 가치 있는 도메인 구문도 포함을 고려하도록 합니다.

측정된 성능 및 시사점

Qwen3-4B를 기반으로 한 자동 포르투갈어 에세이 채점기에 적용했을 때, VocabX는 효율성과 품질 모두에서 상당한 개선을 보여주었습니다.

추론 비용 절감

일반 Qwen3-4B 토크나이저를 VocabX 특수화 어휘로 교체(어휘 크기를 약 151,669개 항목에서 64,767개로 축소)하여 측정된 추론 비용이 77.0% 감소했습니다. 평균 응답 길이는 350토큰에서 101토큰으로 감소했습니다.

품질 유지 및 개선

중요하게도, 모델의 품질은 유지되고 개선되었습니다. 품질 지표인 벤치 점수(채점 정확도와 선별 정확도를 결합)는 0.703에서 0.810으로 상승했습니다. 이는 목표가 가능한 가장 저렴한 어휘가 아니라 모델의 의사 결정에 중요한 토큰을 보존하는 가장 저렴한 어휘임을 보여줍니다.

일반 도메인 적용 가능성

다섯 개의 공개 도메인(계약서, 의학 논문, 과학 논문, 뉴스, 파이썬 코드)과 세 개의 모델 계열(Qwen3, Llama-3.1, Gemma-3)에서 VocabX를 테스트하여 효과를 확인했습니다. VocabX는 15개 조합 모두에서 가장 강력한 참조 방법보다 일관되게 더 많이 압축하여 Qwen3에서 평균 추론 비용 절감 10.2포인트, Llama-3.1에서 7.5포인트, Gemma-3에서 13.6포인트를 달성했습니다.