現代のLLMにおける推論と知識のトレードオフ

AI研究所は事実の想起よりも推論を優先している

現代の大規模言語モデル（LLM）は、逆説的な傾向を示しています。AIMEのようなベンチマークにおける推論スコアは上昇している一方で、トークンあたりのアクティブなパラメータ数は減少しています。例えば、GLM-5.2は、約400億のアクティブパラメータでAIME 2026において99.2%のスコアを達成し、Qwen3.5は170億のアクティブパラメータで91.3%を記録しています。対照的に、2023年に約2800億のアクティブパラメータを使用したと報告されているGPT-4は、同様の問題に苦戦していました。

推論の効率は向上している一方で、事実の想起能力は低下しています。ツールを使用せずに事実の想起をテストするSimpleQAベンチマークでは、リーダー（Gemini 2.5 Pro）でさえも、約半数の質問を見逃しています。Qwen3.5 4Bや9Bのような小規模なモデルは、知識ベンチマークにおいて80%から82%のハルシネーション（幻覚）率を示しています。これは、AI研究所が広範な世界知識を推論スキルと引き換えにするという、意図的な設計上の選択を行っていることを示しています。

事実と推論の計算コストの違い

事実に関する知識は、かなりのパラメータ空間を必要とし、パラメータ1つあたり約2ビットの事実知識が必要であると推定されています。無名の歴史的人物や特定のAPIの引数の順序といった詳細な情報を網羅的に保存するには、数兆のパラメータが必要です。

しかし、推論はより圧縮可能です。なぜなら、それは問題の分割、中間状態の追跡、失敗時のバックトラッキングといった、繰り返しの可能な一連の手順で構成されているからです。蒸留（distillation）や検証可能なタスクに対する強化学習といった手法を用いることで、これらの手順をより小さなモデルに転送することが可能です。例えば、Phi-4（140億パラメータ）は数学には長けていますが、トリビアには弱いため、これは広範な世界知識よりも合成された教科書スタイルのデータにトレーニングの焦点を当てていることを反映しています。

静的な重みから動的な事実への分離

事実をモデルの重みに焼き付けることは、情報の劣化が起こるため非効率的です。APIの仕様、価格設定、人員構成などは頻繁に変更されるため、モデルの知識はトレーニングが終了した瞬間に古くなり始めます。対照的に、推論の手順（代数や論理的な矛盾の発見など）は時代を問いません。

高コストでトレーニングに時間がかかるモデルを、急速に変化する世界の状況から切り離すことで、開発者は知識に重きを置いたモデルと同じようには劣化しないモデルを作成できます。目標は、クエリを理解し、ソースの妥当性を判断するのに十分な知識を持ちつつ、詳細な情報は実行時に取得（retrieval）されるようにする、ジェネラリストとしてのモデルを作成することです。

知識の取得における「ハーネス」の役割

内部知識の不足を補うために、モデルは「ハーネス（harness）」、つまり、検索拡張生成（RAG）、ツール呼び出し、ウェブ検索、またはローカルファイルシステムへのアクセスといったシステムの利用に依存します。このアーキテクチャでは、モデルは推論エンジンとして機能し、具体的な事実は実行時に提供されます。

このアプローチは、コーディングエージェントにとって特に効果的です。ライブラリ全体のAPIのインターフェースを丸暗記するのではなく、エージェントはnode_modulesをgrepしたり、現在のドキュメントを読み取ったりすることで、実際にインストールされているバージョンに基づいた回答を保証することができます。

ハルシネーションとローカル展開への影響

事実を重みから外し、ハーネスへと移行させることは、ハルシネーションの性質を変えます。事実が重みに格納されている場合、誤った事実は、フルファインチューニングなしでは修正がほぼ不可能です。事実が外部の知識ベースに存在する場合、誤った回答は特定の場所（引用されたドキュメント）に原因があります。もしドキュメントが間違っていれば、それを編集すれば、その修正は将来のすべてのクエリに対して即座に利用可能になります。

このシフトは、最先端レベルの推論をコンシューマー向けハードウェアで実行することも可能にします。知識に重きを置いたエキスパート層が取り除かれれば、200億から400億パラメータのモデル（4-bit量子化時）は、24GB VRAMのGPUで動作可能です。ただし、これはモデルが事実の参照のための堅牢な外部ハーネスと組み合わされていることが条件となります。

批判的な視点と反論

推論と知識を分離することへの傾向は、概念的には魅力的ですが、いくつかの技術的および哲学的な課題に直面しています。

推論と知識の相互依存性: 一部の研究者は、推論は意味的な内容から完全に分離することはできないと主張しています。人間の行動や歴史的事象について推論することは、論理を裏付けるための基礎となる事実知識が必要です。
RAGの限界: 批判的な意見として、情報をコンテキストウィンドウに移動させることは、ハルシネーションを解消するものではありません。モデルは依然としてソースを誤読したり、複数のドキュメントを読み取って誤った合成を行ったりすることがあります。
データ品質: このアプローチの有効性は、外部検索ツールの品質に完全に依存します。検索エンジンの品質が低下したり、、あるいは取得されたドキュメントが不正確であれば、モデルの推論は事実的な既知事項（prior）の不足を補うことはできません。
ベンチマークの妥当性: コミュニティのメンバーからは、SimpleQAのようなベンチマークは時代遅れである可能性があり、現在の想起のリーダーが現在の最新モデルのイテレーションを正確に反映していない可能性があるという指摘もあります。