なぜ圧縮と大規模言語モデルは同じ予測問題を解決するのか

圧縮とLLMは同じ予測問題である

要点: 現代の可逆圧縮（lossless compressors）と大規模言語モデル（LLMs）は、どちらもデータの確率モデルを構築し、そのモデルを使用して次のシンボルを予測し、エントロピー符号化器でデータをエンコードします。予測が優れているほど、必要なビット数は少なくなります。

古典的な圧縮の仕組み

変換 (Transforms) (例: ランレングス符号化) は、冗長性を露出させるためにデータを並べ替えますが、直接ファイルサイズを縮小するとは限りません。
モデル (Models) は、観測された頻度やコンテキストに基づいて、考えられる各シンボルに確率を割り当てます。文字列 AAAAAA BBB C の場合、単純なモデルでは確率は A:0.71, B:0.21, C:0.07 となります。
エントロピー符号化器 (Entropy coders) (算術符号またはハフマン符号) は、それらの確率を、長さがシャノン・エントロピー -∑p·log₂p に近づくビットストリームに変換します。

"エントロピーは底限である。つまり、損失なしで達成可能なシンボルあたりの最小ビット数である。" – Ngrok blog

なぜ確率が重要なのか

確率が高いシンボルほど、必要なビット数が少なくなります (bits = -log₂(p))。
分布が偏っているほど、圧縮効率は良くなります。A が支配的な文字列 (p≈0.83) の平均は 0.82 bits/symbol ですが、バランスの取れた文字列の平均は 1.38 bits/symbol です。
コンテキスト (1次モデル、2次モデル) を追加すると、確率は劇的に鋭くなります。1次モデルを使用すると、フレーズ "TO BE OR NOT TO BE" の圧縮サイズは、約47ビットから約21ビットに減少しました。

圧縮としての言語モデリング

LLMは、前のコンテキストが与えられたときに、次のトークンの確率分布を生成します。これは、圧縮におけるモデルのステップと全く同じです。
真の次のトークンが最も確率の高い予測と一致する場合、エンコーダは -log₂(p) ビットしか消費しません。予測を誤ると、ビットコストが増大します。
算術符号化をトークンストリームに適用することで、高度に訓練されたLLMをほぼ最適な圧縮器にすることができます。ディケンズの引用文を用いたテストでは、GPT-2モデルは 176 ビット (元の10%) を達成し、単純な1次モデル (434 ビット, 24%) よりもはるかに優れた結果を出しました。

"LLMの訓練は、巨大なパラメータ化された圧縮アルゴリズムの最適化と同等である（交差エントロピー損失はシャノン・エントロピーと同じ数式である）。" – Ngrok blog

実用的な限界

モデルサイズ vs ペイロード: HTTPレスポンスを圧縮するために数ギガバイトのLLMをデプロイすることは、節約できるキロバイトよりも大きなコストになります。
計算コスト: Transformerによるエンコード/デコードは、gzipやBrotliよりも数桁遅く、エネルギー消費も大きいです。
したがって、LLMは意味的な圧縮（例：プロンプトの要約）には有用ですが、日常的なバイトレベルの圧縮には適していません。

コミュニティの視点

farfatched: "情報理論、推論、そして学習は、表裏一体の存在である。脳は究極の圧縮器である。"
ssivark: "圧縮が予測と等しくなるのは、訓練分布がテスト分布と完全に一致する場合のみである。そうでなければ、汎化によって乖離が生じる。"
variadix: "非LZ圧縮器は暗黙的に確率分布をモデル化している。出力される各シンボルの長さは、その確率に対応している。"
throwaway_7274: "訓練を圧縮器の集合体に対する最適化として捉えることは、新しいアイデアの出現を妥当なものにする。"
zephen: "圧縮には予測が必要だが、だからといって圧縮が予測そのものであるという意味ではない。方向性が重要である。"
j-pb: "第三の側面であるインデックス（索引）が、圧縮、予測、およびルックアップ構造の三位一体を完成させる。"
rrherr: "Schmidhuberの2008年の論文は、最近のハイプに先駆けて、圧縮の進歩を好奇心と創造性にすでに結びつけていた。"
sethev: "Hutter Prizeは、圧縮を知能の代用として明示的に扱っており、圧縮と予測の結びつきを強化している。"
sigbottle: "ソロモノフの誘導は、リソースの制約がなければ完全な圧縮は空虚であることを示している。実際の圧縮器は、有用であるために十分に小さくなければならない。"
Lerc: "予測はエラーのみをエンコードすることを可能にするが、圧縮器は逐次的には見えないグローバルなパターンも利用できるため、等価性は厳密ではない。"
zhxiaoliang: "圧縮は予測可能性を利用する。知能は有用な予測を生み出す。これは重要な概念的区別である。"
jdthedisciple: "予測可能性は情報の逆数である。低い情報は高い圧縮をもたらす。これは基本的な情報理論である。"
e12e: "Gzipは言語モデルとして使用でき、古典的な圧縮器がすでに次トークン予測を行っていることを示している。"

結論

数学的一致性: 可逆圧縮器とLLMはどちらも同じ目的関数、すなわち交差エントロピー（負の対数尤度）を最小化します。これはシンボルあたりの期待ビット数に等しくなります。
実用的な乖離: 圧縮器は速度、極小モデル、および決定論的なデコードのために設計されています。LLMは表現力を優先し、長距離の依存関係を扱うことができますが、膨大なリソースコストがかかります。
今後の方向性: 圧縮の向上は、より優れた予測モデルにかかっています。LLMが進歩し続けるにつれ、それらはますます意味的な圧縮器として機能するようになり、一方で従来のバイトレベルの圧縮器は、低オーバーヘッドのデータ転送の主力であり続けるでしょう。

クイックリファレンステーブル

コンポーネント	圧縮	LLM	役割
モデル	確率テーブル (多くの場合コンテキスト依存)	トークン確率を出力するTransformer	次のシンボルを予測する
エントロピー符号化器	算術符号/ハフマン符号 → ビットストリーム	同じ符号化器をトークン確率に適用可能	確率をビットに変換する
目標	シンボルあたりのビットを最小化する (エントロピーに近づける)	交差エントロピー損失を最小化する (同じ指標)	予測が優れていれば、圧縮も優れる

要約すると、 あらゆる可逆圧縮器の核となるのは予測器です。現代のLLMは単に非常に強力な予測器であり、実用的な制約によってほとんどのエンジニアリングパイプラインでは分離されていますが、エントロピー符号化器と組み合わせたときに優れた圧縮を実現できるのはそのためです。