Anthropic 推出使用字典學習的特徵分類器

TL;DR

Anthropic 發布了早期研究，顯示字典學習特徵可以作為語言模型輸出的輕量級分類器，為完整的模型微調提供了一個快速且具可解釋性的替代方案。

概述

Anthropic 的可解釋性團隊分享了一份簡短的技術筆記，描述了使用字典學習構建的特徵分類器實驗。該貼文明確地被框架化為實驗室會議風格的討論，而非同行評審的論文，作者也要求讀者將這些發現視為初步結果。

技術方法

• Dictionary Learning：團隊將非監督式字典學習應用於大型語言模型的隱藏狀態激活值（hidden-state activations），提取出一組捕捉表示空間中重複模式的基向量（basis vectors）。
• Feature Extraction：對於每個輸入的 token 或序列，激活值會被投影到學習到的字典上，從而產生一個稀疏特徵向量，用以指示哪些基元素是活躍的。
• Classifier Construction：在這些稀疏特徵上訓練一個簡單的線性分類器（例如 logistic regression），以預測下游標籤，如情緒、毒性或事實正確性。
• Interpretability Advantage：由於每個字典元素都對應於可識別的激活模式，因此可以檢查生成的分類器，以了解哪些模式驅動了預測。

初步結果

• 在多個二元分類任務中，基於特徵的分類器達到了與微調後的 transformer heads 相當的準確度，同時使用的參數數量減少了數個數量級。
• 推理速度顯著提升，因為分類器是在低維稀疏向量上運作，而非完整的 transformer 輸出。
• 作者觀察到某些字典原子（dictionary atoms）始終與語義概念（例如否定、禮貌）對齊，這表明了一條通往更透明模型行為的路徑。

"These results are shared as a colleague’s quick thoughts at a lab meeting, not as a mature, peer-reviewed contribution."

局限性

• 實驗僅限於一組小規模的任務和單一基礎模型；對其他架構或多語言環境的泛化能力仍待測試。
• 字典大小和稀疏性閾值是根據啟發式方法選擇的；系統性的超參數研究尚在進行中。
• 該方法目前依賴於凍結的預訓練模型；它並未探索字典與分類器的聯合優化。

對研究與部署的影響

• Speed & Cost：部署稀疏特徵分類器可以降低高吞吐量推理場景下的計算成本，在這些場景中，完整的模型微調成本過高。
• Transparency：透過將預測與人類可讀的激活模式聯繫起來，此方法為可解釋性研究提供了一個具體的途徑。
• Safety：基於特徵的分類器可以作為輕量級的安全層（例如毒性過濾器），可以在不重新訓練底層語言模型的情況下進行審計和更新。

Related Anthropic Work

• Patterns and problems in emerging multi-agent systems – 探索了前沿模型的系統性失效，並提出了緩解策略。
• Reviewing the evidence on worker retraining programs – 一份與獨立研究員 David Roodman 共同撰寫的、以政策為中心的評論。
• Learning more about Claude's mathematical capabilities – 報告了一個尚未發布的 Claude 變體，其在與黎曼猜想相關的下界方面有所改進。

這些作品共同說明了 Anthropic 對可解釋性、安全性以及跨學科影響力的廣泛承諾。