次のトークン予測器というメンタルモデルが現代のLLMにとって不完全である理由

次のトークン予測器モデルの限界

大規模言語モデル（LLM）は、推論時に次のトークンを一つずつ生成する「次のトークン予測器」として動作しますが、この記述は、現代のモデルがどのようにトレーニングされ、何をエンコードしているかについてのメンタルモデルとしては不完全です。「次のトークン予測器」というラベルは、出力のメカニズム（推論ループの形状）を正確に記述していますが、ポストトレーニング（事後学習）後のモデルの目的を捉えきれていません。

事前学習 vs. ポストトレーニングの目的

ベースモデルがどのように学習するかと、ポストトレーニング後のモデルが強化学習を通じてどのように進化するかには、根本的な違いがあります。

事前学習：模倣と予測

事前学習中、モデルは伝統的な次のトークン予測器として機能します。トレーニングデータセット内の既存のシーケンスを分析し、そのシーケンス内の実際の次のトークンがサンプリングされる確率を高めるようにパラメータを調整します。目的は純粋に予測的です。モデルはトレーニングデータの統計的パターンを模倣することを学習します。

ポストトレーニング：RLVRによる報酬の最大化

現代のLLMは、ポストトレーニング、具体的には検証可能な報酬を用いた強化学習（RLVR）を行います。RLVRにおいて、モデルはデータセットから予測すべき「正解」の次のトークンを持っているわけではありません。代わりに、新しいシーケンスを生成することで探索を行い、その結果に基づいて報酬を受け取ります。

このパラダイムでは、モデルはあるトークンをより高い確率にするのは、それがトレーニングセットに現れたからではなく、そのトークンを含むシーケンスが報酬を最大化したからです。目的は、データの次のトークンを予測することから、報酬関数を最大化することへとシフトしています。

チェスの比喩：予測 vs. 最適化

模倣と最適化の違いを説明するために、2つのタイプのチェスシステムを考えてみましょう。

次の手予測器： グランドマスターの対局データベースでトレーニングされたシステム。与えられた局面において、グランドマスターが最も選びそうな手を予測します。既存の人間による指し手の模倣に限定されます。
報酬最大化器： あらゆる可能な対局を探索し、どの局面からも勝利の確率を決定できる理想的なエンジン。人間がその手を指したことがあるかどうかにかかわらず、勝利の確率を最大化する手を選びます。

2番目のシステムを「次の手予測器」と呼ぶのは誤解を招きます。なぜなら、その目的はデータセットを予測することではなく、ゲームに勝つことだからです。

コミュニティの視点による統合

技術的な実務家の間での議論は、「次のトークン予測器」というラベルが根本的に間違っているのか、それとも単に抽象化のレベルの問題なのかについて、深い分断を示しています。

モデルの妥当性を支持する議論

トレーニングの目的（RLVRまたは事前学習）に関らず、数学的な演算は同じです。すなわち、条件付き確率 $P(\text{token}k | \text{tokens}{1...k-1})$ を計算することです。

"そのためのメカニズムが何であるかは重要ではありません。報酬を最大化するためであれ、勾配に従うためであれ、何らかの他の理由であれ、それは依然として次のトークンを予測しているのです。"

また、「次のトークン予測器」モデルは、LLMの一般的な失敗モード、例えば、モデルが以前に生成したトークンを自己修正できないために、回答の初期段階で間違った答えに「ロックイン」してしまう現象などを説明するのに役立つと示唆する人々もいます。

モデルの妥当性に反対する議論

このラベルを「還元主義的」なツールとして使い、LLMの創発的な能力を退けてしまうケースが多いと批判する人々もいます。彼らは、トークン単位のメカニズムに焦点を当てることは、それらの予測を正確にするために形成されなければならない複雑な内部表現や「世界モデル」を無視することだと主張しています。

"それは、ボーイング777が単に回転する機械であり、フィンを回転させることで飛行するというようなものです。ええ、確かにそうですが、しかし、そうではありません。そのレベルの単純化では、150トンの高度なエンジニアリングと物理学を無視してしまっています。"

創発とエージェント的システム

「次のトークン予測器」は基本コンポーネントですが、結果として得られるシステムはそれ以上の何かである、と示唆する人々もいます。この見解では、現代のAIは、単純なルール（トークン予測）と複雑な相互作用（RLVR、ツール利用、再帰的呼び出し）が組み合わさることで、予測器という単純なラベルを超越した能力を生み出す創発的なシステムであると考えています。