透過約束二元最佳化進行區塊移除的 LLM 壓縮

TL;DR

Hugging Face 宣佈了一種剪枝技術，將 transformer 區塊移除轉化為 Ising‑glass 約束二元最佳化問題，實現快速、高品質的深度壓縮，並在 50% 壓縮率下為 Llama‑3.3‑70B‑Instruct 帶來高達 23 個百分點的 MMLU 提升。

為什麼區塊選擇是一個多體問題

現有的深度剪枝方法使用幅度或敏感度等啟發式方法對單一區塊進行排序，將每個區塊視為獨立（平均場近似）。實際上，移除一個區塊的影響取決於同時移除了哪些其他區塊，這會產生類似於磁鐵中自旋交互作用的成對耦合。忽略這些耦合會丟失有價值的資訊，尤其是在剪除大量區塊時。

將區塊選擇轉化為能量最小化問題

  • 為每個 transformer 區塊附加一個二元變數 (x_i)（0 = 保留，1 = 移除）。

  • 對模型損失關於 (x) 進行二階泰勒展開，得到近似的 Hessian 矩陣 (H)。

  • (H) 的對角元素捕捉單一區塊的重要性；非對角元素捕捉成對耦合。

  • 剪枝目標變為：

    [ \min_{x}; x^{\top} H^{0} x \quad \text{s.t.}; \sum_i x_i = M ]

    這是一個約束二元最佳化（CBO）問題，在數學上等同於在固定磁化強度（即移除的區塊數）下尋找 Ising glass 的低能態。關鍵的是，低能配置與下游基準分數高度相關，使得能量成為模型品質的廉價代理。

候選配置的高效評估

完整的 Hessian 矩陣僅需在小規模校準資料集上進行一次前向和反向傳播即可計算。之後，評估任何區塊移除配置只需進行矩陣‑向量乘法，無需完整的模型推論或基準評估。同一個 Hessian 矩陣可重複用於不同的壓縮目標 (M)。

求解最佳化問題

  • 精確暴力法：對於適度的配置空間（例如，在 Llama‑3.3‑70B 中移除 80 個區塊中的 8 個），在單一 GPU 上枚舉數十億種配置是可行的；最困難的情況約需 2 天。
  • 量子啟發求解器：較大的空間通過將 CBO 轉換為 QUBO（加入基數約束的懲罰項）並將其輸入經典、量子或量子啟發的最佳化器（如禁忌搜尋、量子退火和 QAOA）來處理。一個開源的禁忌求解器在最具挑戰性的驗證實例上，能在數秒內持續達到最低能態。
  • 實際目標：與其堅持全域基態，該流程提取低能態的光譜，以最小的額外成本提供多個高品質的剪枝候選方案。

低能光譜的重要性

由於能量是不完美的代理指標，絕對基態並不總是最佳的剪枝模型。通過抽樣幾個低激發態，從業者可以獲得多元化的配置集合。在 Llama‑3.1‑8B‑Instruct 的實驗中，第 17 激發態——移除早期區塊——在輕度重新訓練後優於基態，這反駁了最佳剪枝總是移除連續後期層區塊的假設。

實證結果

模型 移除的區塊數 MMLU
Llama‑3.3‑70B‑Instruct（原始） 0 82.2
CBO（我們的方法） 32 / 80 76.6
區塊影響力（基線） 32 / 80 59.3
CBO（我們的方法） 40 / 80 76.9
區塊影響力（基線） 40 / 80 54.0
  • 在 50% 深度壓縮（移除 40/80 個區塊）下，CBO 保持約 77 的 MMLU，而最強的基線降至 50 多分。
  • 類似的提升也出現在 Qwen3‑14B（移除 12/40 個區塊時約提升 10 個 MMLU 百分點）以及所有方法收斂的較輕壓縮設定中。

對異質架構的泛化

Ising 公式不依賴於區塊的同質性；它只需要一個耦合矩陣。將 CBO 應用於 NVIDIA‑Nemotron‑3‑Nano‑30B‑A3B‑FP8——一種交錯 Mamba2、注意力與 MoE 層的混合模型——在無需重新訓練的情況下，產生的剪枝配置在 AIME25 和 GPQA 上優於區塊影響力基線。結果證實冗餘在不同專家層之間存在差異，而探索耦合配置空間能發現最可丟棄的組件。

與 Multiverse Computing 技術棧的契合

將剪枝重新表述為 Ising Hamiltonian，利用了 Multiverse Computing 現有的經典和量子啟發最佳化基礎設施。區塊移除與其他壓縮技術（量化、低秩 SVD、寬度剪枝、知識蒸餾修復）自然組合，形成統一的流程而非競爭方法。

取得研究資源

Sources