VocabXによるSLM語彙の特化が推論コストを77%削減する方法

VocabXは、ドメイン特化型の小規模言語モデル（SLM）の実運用環境における推論コストを、ベースモデルや学習レシピを変更せずに77%削減する語彙特化手法です。

この手法は、汎用モデルのトークナイザーの非効率性に対処します。汎用トークナイザーは、テキストの断片化や過剰な語彙によって無駄を生み出します。特に、SLMが単一ドメインのタスクに展開される場合に顕著です。

汎用トークナイザーの非効率性

汎用言語モデルの場合、トークナイザーは多様なドメインの膨大なテキストコーパスで訓練されており、幅広い用途に適しています。しかし、この汎用語彙が単一ドメインに特化したモデルで使用されると、以下の2つの具体的な無駄が生じます。

断片化

断片化は、トークナイザーがドメイン固有の高頻度繰り返しシーケンス（契約書の定型句、採点システムのJSONエンベロープ、コード内の識別子など）を複数のトークンに分割するときに発生します。これらの断片化されたシーケンスは、1トークンで済むところを複数トークン消費し、リクエストごとの総トークン数を増加させます。

過剰な語彙

過剰とは、特化ドメインで使用されない数万の語彙エントリが含まれていることを指します。モデルが単一ドメインのみで訓練されている場合でも、トークン生成の各ステップで大きな語彙のすべてのエントリに対して確率スコアを計算する必要があり、不要な計算リソースを消費します。

LLM推論のコストダイナミクス

総トークン数がそのまま運用コストに直結するわけではないことを理解することが重要です。コストは推論プロセス自体によって決定されます。LLM推論には、プレフィルとデコードの2つのフェーズがあります。

プレフィルとデコードの比較

プレフィルフェーズでは、モデルは入力全体を1回で処理し、制限要因は計算能力です。一方、デコードフェーズでは、モデルは応答を1トークンずつ生成します。デコードでは、各トークンにフルパスが必要であり、GPUはメモリからのデータ待ちにほとんどの時間を費やすため、制限要因はメモリ帯域幅です。

語彙がコストに与える影響

デコードのメモリバウンド性は、語彙サイズによって増幅されます。モデルの最終層である言語モデル（LM）ヘッドは、語彙エントリごとに1行のパラメータを保持する必要があります。小規模モデルでは、この行列がパラメータのかなりの部分を占めます。LMヘッドは生成された各トークンに対して語彙行列全体を読み取って乗算するため、未使用の語彙エントリが増えると、デコードの各ステップでメモリから移動するデータが増えます。その結果、トークンを生成するコストは、1トークンを読み取るコストよりも大幅に高くなります。

従来の語彙適応手法の限界

モデルの語彙を適応させること自体は新しいものではありませんが、既存の手法（Fast Vocabulary Transfer（FVT）やMulti-Word Tokenization（MWT）など）には、コスト削減に適用した場合に2つの主要な限界がありました。

頻度ベースの選択

参照手法は通常、入力内での出現頻度に基づいてトークンを選択します。このアプローチは、トークンのコスト差を考慮していません。頻繁に出現するが処理コストが低い表現が、頻度は低いが処理コストが非常に高い応答スパンよりも優先される可能性があります。

単一層での操作

ほとんどの従来手法は、単語をサブワードに分割する方法を調整するか、フレーズ全体を単一トークンにマージするかのいずれかです。統一されたコスト基準の下で両方の戦略を組み合わせることはなく、JSONエンベロープのような長い繰り返しスパンを圧縮する機会を逃しています。

VocabXの解決策：コスト加重特化

VocabXは、最適化目標を根本的に変更し、複数の層で同時に操作することで、これらの限界に対処します。

最適化指標の変更

VocabXは、何トークン節約できるかではなく、どれだけコストと時間を節約できるかを問います。各潜在トークンは、それが出現するフィールド（システムプロンプト、ユーザーメッセージ、モデル応答など）の価格で重み付けされます。測定された採点アプリケーションでは、応答内で節約されたトークンは入力内で節約されたトークンよりも7.4倍高い価値があり、語彙はそれに応じて構築されました。

二層最適化

VocabXは、同じコスト基準の下で2つのレベルで動作します。

サブワード層： ドメインの単語がどのように分割されるかを再構築します。
マルチワード層（マクロ）： 短い表現から完全なJSONエンベロープまで、繰り返されるスパン全体を識別して単一トークン（マクロトークン）にマージします。

未出現候補の統計的推定

コストベースの選択プロセスをスケーリングするために、VocabXは小さなサンプルコーパスに存在しない候補の利得をゼロと仮定するのではなく、統計的推定を使用します。サンプルではまれだがコーパス全体では頻繁な候補については、VocabXは潜在的な節約量の統計的推定を使用し、まれだが価値のあるドメインフレーズが考慮されることを保証します。

測定された性能と影響

Qwen3-4Bに基づく自動ポルトガル語エッセイ採点システムに適用した場合、VocabXは効率と品質の両方で大幅な改善を示しました。

推論コストの削減

一般的なQwen3-4BトークナイザーをVocabX特化語彙（語彙サイズを約151,669エントリから64,767エントリに削減）に置き換えることで、測定された推論コストは77.0%削減されました。平均応答長は350トークンから101トークンに減少しました。

品質の維持と向上

重要なことに、モデルの品質は維持され、向上しました。品質指標であるベンチスコア（採点精度とスクリーニング精度を組み合わせたもの）は0.703から0.810に上昇しました。これは、目標が可能な限り安い語彙ではなく、モデルの意思決定に重要なトークンを保持する最も安い語彙であることを示しています。

一般的なドメイン適用性

5つの公開ドメイン（契約書、医学論文、科学論文、ニュース、Pythonコード）と3つのモデルファミリー（Qwen3、Llama-3.1、Gemma-3）にわたってVocabXをテストし、その有効性を確認しました。VocabXは、15の組み合わせすべてで最も強力な参照手法よりも一貫して高い圧縮率を達成し、平均推論コスト削減はQwen3で10.2ポイント、Llama-3.1で7.5ポイント、Gemma-3で13.6ポイントでした。