Attention Is Not What You Need: Grassmann Manifold Architectures

核心概念：用 Grassmann 流替代自注意力机制

论文 "Attention Is Not What You Need" (arXiv:2512.19428) 对序列建模中显式自注意力机制的必要性提出了挑战。作者认为，标准的注意力机制（Multi-head attention）起到了“张量提升”（tensor lifting）的作用，即将隐藏向量映射到成对交互的高维空间中。虽然这种方法具有很强的表达能力，但在数学上是不透明的，难以定义模型行为的显式不变量。

为了解决这个问题，作者提出了一种因果 Grassmann 层（Causal Grassmann layer）。该架构不再构建 L-by-L 的注意力矩阵，而是：

  1. 线性缩减 token 状态。
  2. 使用 Plucker 坐标将局部 token 对编码为 Grassmann 流形上的二维子空间。
  3. 通过门控混合（gated mixing）将这些几何特征融合回隐藏状态。

通过在有限维流形而非非结构化张量空间上进行操作，模型通过局部窗口内低秩子空间的受控变形来传播信息。这种方法在固定秩的情况下实现了序列长度的线性扩展。

性能与基准测试

该架构在两个主要基准测试上进行了评估，以证明其相对于标准 Transformer 的可行性：

  • Wikitext-2： 纯 Grassmann 模型（参数量在 1300 万到 1800 万之间）实现的验证困惑度（perplexity）在同等规模 Transformer 的 10% 到 15% 以内。
  • SNLI (自然语言推理)： 应用于 DistilBERT 的 Grassmann-Plucker 头实现了 0.8550 的验证准确率和 0.8538 的测试准确率，略优于标准 Transformer 头（分别为 0.8545 和 0.8511）。

社区评论与技术考量

这项研究在技术社区引发了关于方法论、规模和论文呈现方式的争论。批评者提出了几个关注点：

  • 规模与泛化： 评论者指出，实验仅限于小规模数据集和模型。批评者认为，在玩具问题上的表现并不一定能转化为 Transformer 目前占据主导地位的大规模训练场景。
  • 数学权衡： 一些观察者指出，使用 Grassmann 流形涉及一种权衡，因为模型在保留子空间方向的同时，可能会丢失有关底层线性映射和基的信息。
  • 实现细节： 关于配对操作 (zt, zt+Delta) 发现了一个潜在问题，一些人建议，如果处理不当，使用未来 token 来预测下一个 token 可能会导致数据泄露。
  • 呈现与严谨性： Hacker News 等平台上的讨论强调了该论文缺乏视觉辅助工具（如示意图或图表），一些读者认为这些对于支持论文的论点是必要的。此外，对于作者缺乏既定的学术背景也存在疑问，导致一些人对文档的来源和分析深度进行了审视。

虽然该论文为序列建模提供了一种新颖的几何视角，但早期审稿人的共识是，需要进一步的证据来确定基于流形的设计是否能够与现代 Transformer 架构的扩展效率相竞争。

Sources