Anthropic "Reflections on Qualitative Research" – Why Interpretability Needs a Qualitative Lens

TL;DR

Anthropic 的簡短筆記主張，針對 transformer models 的可解釋性研究應加強定性研究的關注，並為評估定性工作提供了實用的啟發式方法。

大型語言模型的解釋性研究通常強調定量指標，但 Anthropic 主張，定性分析——觀察、敘述性描述和案例研究——能捕捉到數字所忽略的現象。透過將定性方法置於核心地位，研究人員可以揭示難以量化的細微電路行為、湧現能力和失效模式。

Anthropic 提出了一套非正式指南，以幫助社群判斷定性工作的價值：

Clarity of Observation – 論文應清楚描述其研究的現象，包括具體的實例和視覺化圖表。
Depth of Insight – 應超越表面描述，解釋為何觀察到的行為對模型安全或性能至關重要。
Reproducibility of Narrative – 即使沒有代碼，敘述也應足夠詳細，使另一位研究人員可以使用相同的模型系列來複製該觀察結果。
Connection to Broader Theory – 研究工作應將其發現與現有的 transformer circuits 理論或 AI alignment 中的開放性問題聯繫起來。
Actionability – 洞察應為模型設計、評估或緩解策略提供具體的後續步驟建議。

這些啟發式方法旨在為「研究品味」提供一個可以在整個領域中進行討論和完善的結構。

Anthropic 將此筆記與其他三項近期研究聯繫起來，展示了其工作中定性探究的廣度：

作者們列舉了前沿模型中導致系統性失效的行為傾向，鼓勵對風險緩解進行對話。

與獨立研究員 David Roodman 合作進行的評論，檢驗了工人重新培訓的經驗證據，反映了 Anthropic 對 AI 社會影響的興趣。

一個尚未發布的 Claude 變體在與 Riemann hypothesis 相關的界限方面取得了進展，將滿足該假設的零點比例從 41.6% 提高到了 67.2%。

這些作品展示了 Anthropic 對 AI 研究的技術和社會維度之承諾，並以定性洞察作為共同線索。

This article faithfully reflects Anthropic’s “Reflections on Qualitative Research” post dated March 8 2024.