為什麼壓縮與大型語言模型解決相同的預測問題

壓縮與 LLM 是相同的預測問題

重點： 現代無損壓縮器與大型語言模型（LLMs）都建立資料的機率模型，利用這些模型預測下一個符號，並使用熵編碼器來編碼資料；預測越準確，所需的位元數就越少。

古典壓縮如何運作

  • 轉換（例如，行程長度編碼）重新排列資料以暴露重複性，但可能不會直接縮小檔案。
  • 模型 根據觀察到的頻率或上下文，為每個可能的符號分配機率。對於字串 AAAAAA BBB C，一個簡單的模型會產生機率 A:0.71, B:0.21, C:0.07。
  • 熵編碼器（算術或霍夫曼）將這些機率轉換為位元流，其長度接近香農熵 -∑p·log₂p。

"熵是下限——在不損失的情況下，每個符號可達的最少位元數。" – Ngrok blog

為什麼機率很重要

  • 機率較高的符號需要較少的位元（bits = -log₂(p)）。
  • 偏斜的分佈壓縮效果更好：一個以 A 為主的字串（p≈0.83）平均僅需 0.82 位元/符號，而平衡的字串平均需 1.38 位元/符號。
  • 加入 上下文（一階、二階模型）能大幅精確機率。一階模型將字串 "TO BE OR NOT TO BE" 的壓縮大小從約 47 位元減少到約 21 位元。

語言模型作為壓縮

  • LLM 根據先前的上下文生成下一個 token 的機率分佈——這正是壓縮器中模型步驟的精確對應。
  • 當真實的下一個 token 與最高機率的預測一致時，編碼器僅需 -log₂(p) 位元；若預測錯誤，位元成本會增加。
  • 可以將算術編碼應用於 token 流，將訓練良好的 LLM 轉化為近乎最佳的壓縮器。在狄更斯名言的測試中，GPT‑2 模型達到了 176 位元（原大小的 10 %），遠優於 naïve 一階模型（434 位元，24 %）。

"訓練 LLM 相當於優化一個龐大且參數化的壓縮演算法（交叉熵損失的公式與香農熵相同）。" – Ngrok blog

實際限制

  • 模型大小 vs. 輸出資料：部署數 GB 的 LLM 來壓縮 HTTP 回應，其開銷將超過節省的數 KB。
  • 運算成本：使用 Transformer 進行編碼/解碼的速度比 gzip 或 Brotli 慢數個數量級，且耗能更高。
  • 因此，LLM 適用於 語義 壓縮（例如，摘要提示）而非日常的位元級壓縮。

社群觀點

farfatched： "資訊理論、推論與學習是同一枚硬幣的兩面；大腦是最終的壓縮器。" ssivark： "只有當訓練分佈與測試分佈完全匹配時，壓縮才等於預測；否則泛化會產生偏差。" variadix： "非 LZ 壓縮器隱含地建模機率分佈；每個輸出符號的長度對應其機率。" throwaway_7274： "將訓練視為一組壓縮器的優化，使新想法的出現變得合理。" zephen： "壓縮需要預測，但這並不表示壓縮 就是 預測；方向性很重要。" j-pb： "第三個面向——索引——完成了壓縮、預測與查找結構的三元組。" rrherr： "Schmidhuber 在 2008 年的論文已將壓縮進展與好奇心和創造力連結，早於近期的熱潮。" sethev： "Hutter Prize 明確將壓縮視為智能的代理，強化了壓縮與預測的連結。" sigbottle： "Solomonoff 推斷顯示，若無資源限制，完美壓縮是空洞的；真正的壓縮器必須小到足以實用。" Lerc： "預測僅能編碼誤差，但壓縮器也能利用非序列可見的全局模式，因此兩者等價性並非嚴格成立。" zhxiaoliang： "壓縮利用可預測性；智能創造有用的預測——這是一個重要的概念區別。" jdthedisciple： "可預測性是資訊的反面；資訊越少，壓縮效果越好，這正是基本資訊理論。" e12e： "gzip 可用作語言模型，顯示傳統壓縮器早已執行下一個 token 的預測。"

結論

  • 數學上的等價性： 無損壓縮器與 LLM 都最小化相同的目標——交叉熵（負對數似然），這等同於每個符號的期望位元數。
  • 實務上的分歧： 壓縮器專注於速度、微型模型與確定性解碼；LLM 則優先考慮表達能力，能處理長距離依賴，但成本極高。
  • 未來方向： 改進壓縮取決於更好的預測模型。隨著 LLM 持續進步，它們將越來越多地作為 語義 壓縮器使用，而傳統的位元級壓縮器仍將是低開銷資料傳輸的主力。

快速參考表

元件 壓縮 LLM 功能
模型 機率表（通常具備上下文感知） 輸出 token 機率的 Transformer 預測下一個符號
熵編碼器 算術/Huffman → 位元流 可將相同編碼器應用於 token 機率 將機率轉換為位元
目標 最小化位元/符號（接近熵） 最小化交叉熵損失（相同指標） 更佳預測 → 更佳壓縮

總結來說， 任何無損壓縮器的核心都是預測器；現代 LLM 只是更強大的預測器，這正是它們在搭配熵編碼器時能實現優異壓縮的原因，儘管實務上的限制使它們在大多數工程流程中仍保持分離。

Sources

相關