Attention Is Not What You Need: Grassmann Manifold Architectures
核心概念：用格拉斯曼流替换自注意力
论文“Attention Is Not What You Need”（arXiv:2512.19428）挑战了序列建模中显式自注意力的必要性。作者认为，标准的多头注意力实际上是一种“张量提升”，将隐藏向量映射到成对交互的高维空间中。虽然这种方法具有表现力，但在数学上是不透明的，难以定义模型行为的显式不变量。
为了解决这个问题，作者提出了一种因果格拉斯曼层。该架构不是构建一个L×L的注意力矩阵，而是：
- 线性降维令牌状态。
- 使用Plücker坐标将局部令牌对编码为格拉斯曼流形上的二维子空间。
- 通过门控混合将这些几何特征融合回隐藏状态。
通过在有限维流形上而非非结构化张量空间上操作，模型通过局部窗口上低秩子空间的可控变形来传播信息。这种方法在固定秩下实现了序列长度的线性扩展。
性能与基准测试
所提出的架构在两个主要基准上进行了评估，以证明其相对于标准Transformer的可行性：
- Wikitext-2： 纯格拉斯曼模型（参数数量在1300万到1800万之间）的验证困惑度在大小匹配的Transformer的10%到15%以内。
- SNLI（自然语言推理）： 应用于DistilBERT的格拉斯曼-普吕克头实现了0.8550的验证准确率和0.8538的测试准确率，略优于标准Transformer头（分别为0.8545和0.8511）。
社区批评与技术考量
这项研究引发了技术社区关于方法论、规模和呈现方式的辩论。批评者提出了几个关注点：
- 规模与泛化： 评论者指出，实验仅限于小规模数据集和模型。批评者认为，在玩具问题上的表现不一定能转化为Transformer目前占主导地位的大规模训练场景。
- 数学权衡： 一些观察者指出，使用格拉斯曼流形涉及权衡，因为模型保留了子空间方向，但可能丢失关于底层线性映射和基的信息。
- 实现细节： 关于配对操作（zt, zt+Delta）存在一个潜在问题，有人建议，如果处理不当，使用未来令牌来预测下一个令牌可能导致数据泄漏。
- 呈现与严谨性： 在Hacker News等平台上的讨论突显了缺乏视觉辅助（如示意图或图表）的问题，一些读者认为这些对于支持论文的主张是必要的。此外，还有人质疑作者缺乏既定的学术背景，导致一些人审视该文档的来源和分析深度。
虽然这篇论文为序列建模提供了新颖的几何视角，但早期审阅者的共识是，需要进一步的证据来确定基于流形的设计能否与现代Transformer架构的扩展效率竞争。