Anthropic 揭示 Transformer 殘差流中的特權基底

TL;DR

Anthropic 發現，Transformer 的殘差流（residual stream）中個別的座標並不具備數學上的任意性；它們與特權基底（privileged bases）對齊，他們將此現象主要歸因於 Adam 的逐維度歸一化器（per-dimension normalizers），而非層歸一化（layer normalization）或浮點數精度（floating-point precision）。

Key Finding: Basis Alignment Exists

實證分析顯示，殘差流維度攜帶了系統性的資訊，這與理論預期（即基底方向應該是可互換的且不具備特殊意義）相矛盾。

Investigated Causes

Adam Optimizer Normalizers

作者初步將 Adam 優化器中的逐維度歸一化器識別為觀察到的基底對齊現象最可能的來源。Adam 會個別縮放每個參數，這可能會在學習到的表示（representations）中引入一致的方向性偏差。

Layer Normalization Ruled Out

實驗證明，層歸一化並不會產生特權基底效應。更改或移除層歸一化層會使對齊現象保持不變，這表明它並非原因。

Finite-Precision Arithmetic Ruled Out

變動浮點數精度（例如 float32 vs. float64）的測試顯示，對基底對齊沒有影響，這讓作者能夠有信心地將有限精度計算排除在來源之外。

Implications for Transformer Theory

這項發現挑戰了殘差流座標系統是任意性的假設。如果優化器動力學會在基底上印刻結構，那麼在分析表示幾何時，Transformer 的理論模型必須考慮優化器引起的各向異性（anisotropy）。

Broader Context

Anthropic 將這項工作與其他前沿模型研究並列，例如：

• Emerging Multi-Agent Systems – 探索可能導致系統性故障的行為模式。
• Worker Retraining Evidence Review – 一份與外部研究人員共同撰寫的政策導向評論。
• Claude's Mathematical Capabilities – 強調 Claude 的研究版本在推進與黎曼猜想相關的界限方面取得了進展。

這些連結說明了 Anthropic 對先進 AI 的 技術與社會層面的廣泛關注。

Conclusion

特權基底現象似乎與 Adam 的逐維度縮放有關，而非層歸一化或數值精度。識別優化器驅動的基底偏差對於準確地對 Transformer 內部結構進行理論建模是至關重要的，並且可能會影響未來的架構與訓練演算法設計。