Anthropic "Reflections on Qualitative Research" – 为什么可解释性需要定性视角

TL;DR

Anthropic 的简短说明指出，针对 transformer 模型的可解释性研究受益于更强的定性关注，并为评估定性工作提供了实用的启发式方法。

定性方面应成为可解释性的核心

大型语言模型的可解释性研究通常强调定量指标，但 Anthropic 认为定性分析——观察、叙述性描述和案例研究——能够捕捉到数字所忽略的现象。通过突出定性方法，研究人员可以揭示难以量化的细微电路行为、涌现能力和失效模式。

评估定性研究的启发式方法

Anthropic 提出了一套非正式指南，以帮助社区判断定性工作的价值：

• Clarity of Observation – 论文应清晰地描述其研究的现象，包括具体的例子和可视化。
• Depth of Insight – 它应该超越表面描述，解释为什么观察到的行为对模型安全或性能至关重要。
• Reproducibility of Narrative – 即使没有代码，叙述也应足够详细，以便另一位研究人员可以使用相同的模型系列进行观察的复现。
• Connection to Broader Theory – 该工作应将其发现与现有的 transformer 电路理论或 AI 对齐中的开放问题联系起来。
• Actionability – 这些见解应为模型设计、评估或缓解策略提出具体的后续步骤。

这些启发式方法旨在为“研究品味”提供一个可以在整个领域内进行讨论和完善的结构。

相关 Anthropic 研究亮点

Anthropic 将此说明与另外三项近期调查联系起来，展示了其工作中定性探究的广度：

Patterns and Problems in Emerging Multi‑Agent Systems

作者编目了前沿模型中导致系统性失效的行为倾向，鼓励就风险缓解进行对话。

Reviewing the Evidence on Worker Retraining Programs

与独立研究人员 David Roodman 的合作评审研究了工人再培训的经验证据，反映了 Anthropic 对 AI 社会影响的兴趣。

Learning More About Claude’s Mathematical Capabilities

一个未发布的 Claude 变体推进了一个与黎曼猜想相关的界限，将满足该猜想的零点的比例从 41.6% 提高到了 67.2%。

这些文章展示了 Anthropic 对 AI 研究的技术和社会维度均有投入，而定性见解是其中的共同线索。

---

本文忠实地反映了 Anthropic 于 2024 年 3 月 8 日发布的 “Reflections on Qualitative Research” 文章。