微软研究院AI前沿小组的终结：John Langford谈以规模为先的重组

微软研究院的AI前沿小组（AIF）实际上已经结束。其创始人之一John Langford在他的机器学习（理论）博客上写道，这个约50人的组织在9月初被重组到微软AI（MAI）中，MAI的领导理念是“规模化，并且激进地不做研究”，他和所有其他AIF创始领导团队成员都已离开。这篇博文是一个罕见的、具名的第一人称叙述，讲述了一家大公司的研究部门如何因规模优先的产品组织而失去其使命。

AI前沿是什么

AI前沿于2023年在微软研究院内部成立，在ChatGPT发布之后，旨在进行有组织的AI研究，而非个人研究者式的工作。Langford阐述的理由是速度和基线强度：一个拥有巧妙想法的单一研究者会“迟到且缺乏说服力，因为一个人无法足够快地行动，而且一个人能组合的基线不足以真正展示一个想法是否值得起飞。”

Langford将该小组的运作模式描述为既非自上而下也非自下而上，而是“处于混乱的中间地带”，存在真正的分歧，计算资源的可用性是一个“经常严重的瓶颈”。他评估该小组在其规模较小的情况下，在开创性工作方面取得了成功。

Langford归功于AI前沿的公开成果包括：

Autogen，一个用于智能体的编排框架。
Fara，一个计算机使用智能体模型。
Next Latent，一个旨在实现外推的训练目标。
Dion3，被描述为Muon优化器的优化或改进版本。
全带宽Transformer，一种基于递归的架构，Langford称其使模型“功能更强大”。

AIF还构建了一个默认在微软研究院内共享的单一代码库，其中包含Langford所称的经过验证的、具备边缘规模预训练能力的代码库。他指出，微软内部至少有四个独立的努力试图构建模型构建流水线，而构建一个完善的流水线的努力是巨大的。

为何结束：仅以规模为任务的授权

Langford的叙述是，重组为微软AI在纸面上是合理的——合并两个AI组织集中了精力——但在实践中失败了，因为MAI的前Inflection领导层的理念与研究不相容。

“那里的核心哲学是规模化，并且激进地不做研究。”

他明确指出这是一个理性的商业选择，而非天真的选择：更大的模型能做出更好的预测，而且“从商业角度看，规模回报远比研究回报更可预测。”在仅以规模为导向的环境中，主要精力放在获取、制作和精炼数据上——这与AIF所做的工作相去甚远。Langford补充说，有“大量证据表明他们并不真正需要我们。”

他的批评是，放弃权衡中的一方是一种常见的失败模式：

“我认为仅以规模为导向的焦点既误导人又无趣。这是一个可以理解的失败模式——规模化是直接的，人们常常通过短视地完全采纳一个理想（如创新和规模）而放弃另一个，从而放弃多个竞争理想之间的权衡。”

Langford提出的研究的经济理由

Langford对仅规模策略的反驳是定量的。他引用了字节跳动的实验，表明全带宽Transformer的一种变体可能与两倍大小的模型相当，这意味着在相同能力下，训练和推理成本都显著节省。他的框架是：在行业投资接近一万亿美元的背景下，将训练和推理成本减半意义重大。

这是博文中最有力的可引用声明——研究的回报是真实且可衡量的，而不仅仅是文化上的。分歧在于在相关时间范围内哪种回报更可预测，而不是研究是否产生任何东西。

为何Langford没有回到微软研究院

Langford说他与人讨论过回到MSR，但被两个障碍所阻。第一个是使用：他“在一家我所做的研究没有通往实际使用路径的公司感到不舒服”，因为在MAI内部，他无法将创新投入使用，甚至无法被认真考虑。

第二个是文化上的：

“恐怕MSR的基本契约已经破裂：做好工作，好事就会发生。据我所知，我们做了好工作，却被非自愿地重组掉了。”

他预计这种模式会持续，直到MSR领导层“发展出有效组织以应对当下的意愿。”他最后指出，未来一年将不会有AI前沿实习机会，而如果“掌权者能发展出一点更多的智慧”，未来的微软可能再次对研究人员具有吸引力。

Hacker News讨论补充了什么

讨论的主要框架是，这是一个行业范围内的模式，而非微软特有的失败。一条热门评论认为，每家大型公司目前都将Transformer方法视为一条可以竞速的高速公路，对其他AI方法的探索性研究“受到高度劝阻”，并总结了主流信息为：

“踩下油门，前方是一条笔直的高速公路，不要转向。”

同一位评论者认为这是可辩护的：当前顶级模型参数已达万亿级别，看不到天花板，应该将规模推到10万亿，然后100万亿参数，然后再转移资源。

几位评论者反驳了对博文的这种解读。一位指出，Langford并没有说Transformer研究停止了——他提到了该小组正在研究的一种Transformer架构——真正的要点是组织性的：

“我认为博文的真正要点是，办公室政治和糟糕的管理因内斗以及研究到产品技术转移的执行不力而阻碍了创新。”

其他人关注的是研究人员与公司之间破裂的隐性契约：

“这是微软长期维持的契约，在现任领导下已被反复打破。这是破坏文化的。”

一个反复出现的反驳点是，标题夸大了事件的规模。一位评论者指出，AI前沿是“一个50人的团队，名字很宏大”，更有趣的问题是微软是否总体上降低了对AI研究的优先级。另一位反对标题的模糊性，建议使用“微软研究院AI前沿小组的终结”作为更清晰的标题——AI研究前沿本身没有终结的迹象。

两条评论使Langford 2023年的原始前提复杂化，即一个人无法足够快地行动。一位认为，有了全天候编码智能体，约束条件现在是“前沿模型的令牌和计算预算、研究者的技能、驱动力、远见和想象力，而不是团队合作的能力。”另一位从经验中说了同样的话：“讽刺的是，现在通过与AI合作，一个人绝对可以足够快地行动。”

一个获得认同的结构性提议将问题重新定义为三个阶段而非两个：具有创造自由和资源约束的开放研究；一个规模小、高回报的筛选和审查阶段，用于扩展有前景的结果；以及严格针对当前收入的质量和经济的商业努力。论点是第一阶段和第三阶段直接谈判会很糟糕，中间层可以防止它们“顶牛”。

怀疑的声音也存在，包括一位称这一消息为“煤矿中的金丝雀”，并预测AI寒冬，理由是规模回报递减且成本膨胀。

这一事件说明了什么

AI前沿是一个具体案例研究，展示了研究组织如何为解决协调问题而创建——单个研究者无法足够快地构建竞争性基线——然后被不同的协调逻辑所解散，其中可预测的规模回报胜过不确定的研究回报。Langford的博文精确地指出了机制：重组、不相容的理念，以及创始领导层的离开。它留下的开放问题是，研究到产品的交接能否在规模优先的公司内制度化，或者希望其工作被使用的研究者是否会继续离开，前往能够实现这种交接的组织。