微软研究院AI前沿小组的终结：约翰·兰福德谈以规模为先的重组

微软研究院的AI前沿小组（AIF）实际上已经结束。其创始人之一约翰·兰福德在其机器学习（理论）博客上写道，这个约50人的组织在9月初被重组到微软AI（MAI）中，MAI的领导理念是“规模优先，且激进地不做研究”，他和所有其他AIF创始领导团队成员都已离开。这篇博文是一个罕见的、具名的第一人称叙述，讲述了一家大型公司的研究部门如何因规模优先的产品组织而失去其使命。

AI前沿是什么

AI前沿于2023年在微软研究院内部成立，是在ChatGPT发布之后，旨在进行有组织的AI研究，而非个人研究者独立工作。兰福德给出的理由是速度和基线强度：一个拥有巧妙想法的单一研究者会“迟到且缺乏说服力，因为一个人无法足够快地行动，且一个人能构建的基线不够强大，无法真正展示一个想法值得起飞。”

兰福德将小组的运作模式描述为既非自上而下也非自下而上，而是“处于混乱的中间地带”，存在真正的分歧，且计算资源的可用性是一个“常常严重的瓶颈”。他评估该小组在规模较小的情况下，在开创性工作方面取得了成功。

兰福德归功于AI前沿的公开成果包括：

Autogen，一个用于代理的编排框架。
Fara，一个计算机使用代理模型。
Next Latent，一个旨在实现外推的训练目标。
Dion3，被描述为Muon优化器的优化或改进版本。
全带宽Transformer，一种基于递归的架构，兰福德称其使模型“功能显著增强”。

AIF还构建了一个默认在微软研究院内共享的单一代码库，其中包含兰福德所称的经过验证的、具备边缘规模预训练能力的代码库。他指出，微软内部至少有四个独立的努力试图构建模型构建流水线，而构建一个完善的流水线的努力是巨大的。

为何结束：仅以规模为使命

兰福德的叙述是，重组到微软AI在纸面上是合理的——合并两个AI组织可以集中精力——但在实践中失败了，因为MAI的前Inflection领导层的理念与研究不相容。

“那里的核心哲学是规模，且激进地不做研究。”

他明确指出这是一个理性的商业选择，而非天真的选择：更大的模型能做出更好的预测，且“从商业角度看，规模的回报远比研究的回报更可预测。”在仅以规模为导向的环境中，主要精力放在获取、制作和精炼数据上——这与AIF所做的工作相去甚远。兰福德补充说，有“大量证据表明他们并不真正需要我们。”

他的批评是，放弃权衡中的一方是一种常见的失败模式：

“我认为仅以规模为导向既误导又无趣。这是一个可以理解的失败模式——规模是直接的，人们常常短视地完全采纳一个理想（如创新和规模）而放弃另一个，从而放弃了两者之间的权衡。”

兰福德提出的研究的经济理由

兰福德对仅规模策略的反驳是定量的。他引用了字节跳动的实验，表明全带宽Transformer的一个变体可能相当于两倍规模模型，这意味着在相同能力下，训练和推理成本显著节省。他的框架是：在行业投资接近一万亿美元的情况下，将训练和推理成本减半至关重要。

这是博文中最有力的可引用声明——研究的回报是真实且可衡量的，而不仅仅是文化上的。分歧在于在相关时间范围内哪种回报更可预测，而不是研究是否产生任何东西。

兰福德为何未返回微软研究院

兰福德说他曾与人讨论返回MSR，但被两个障碍所阻。第一个是使用：他“在一家我所做的研究没有实际使用途径的公司感到不安”，因为在MAI内部，他无法将创新投入实际使用，甚至无法被认真考虑。

第二个是文化：

“恐怕MSR的基本契约已经破裂：做好工作，好事就会发生。据我所知，我们做了好工作，却被非自愿地重组掉了。”

他预计这种模式将持续，直到MSR领导层“发展出有效组织以应对时机的意愿。”他最后指出，未来一年将不会有AI前沿实习机会，且如果“掌权者能发展出更多智慧”，未来的微软可能再次对研究人员具有吸引力。

Hacker News讨论补充了什么

讨论的主要框架是，这是一个行业范围的模式，而非微软特有的失败。一条热门评论认为，目前每家大型公司都将Transformer方法视为一条高速公路，而探索其他AI方法的“高度受抑”，并总结了主流信息：

“踩油门，前方是笔直的高速公路，不要转向。”

同一位评论者认为这是合理的：当前顶级模型参数已达万亿级，未见天花板，应先将规模推至10万亿，再至100万亿参数，然后再转移资源。

几位评论者对该解读提出反驳。一位指出，兰福德并未说Transformer研究停止——他提到了小组正在研究的Transformer架构——真正的要点是组织性的：

“我认为博文的真正要点是，办公室政治和糟糕的管理因内斗以及从研究到产品的技术转移执行不力而阻碍了创新。”

其他人关注研究人员与公司之间隐含契约的破裂：

“这是微软长期维持的契约，在现任领导下已被反复打破。这是破坏文化的。”

一个反复出现的反驳是，标题夸大了事件的规模。一位评论者指出，AI前沿是“一个50人的团队，名字宏大”，更有趣的问题是微软是否普遍降低了AI研究的优先级。另一位反对标题的模糊性，建议使用“微软研究院AI前沿小组的终结”更清晰——AI研究的前沿本身没有尽头。

两条评论使兰福德2023年关于一个人无法足够快行动的原始前提复杂化。一位认为，有了全天候编码代理，约束条件现在是“前沿模型的令牌和计算预算、研究者的技能、驱动力、远见和想象力，而非团队合作能力。”另一位从经验中表示：“讽刺的是，现在通过与AI协作，一个人绝对可以足够快地行动。”

一个获得赞同的结构性提议将问题重新定义为三个阶段而非两个：开放研究，具有创造自由和资源限制；一个小型、高回报的筛选和审查阶段，以扩展有前景的结果；以及商业努力，严格针对当前收入的质量和经济性。论点是第一阶段和第三阶段直接谈判效果不佳，中间层防止它们“冲突”。

也存在怀疑的声音，包括一位称这一消息为“煤矿中的金丝雀”，并预测AI寒冬，理由是规模回报递减且成本膨胀。

这一事件说明了什么

AI前沿是一个具体案例研究，展示了研究组织如何为解决协调问题而创建——个人研究者无法足够快地构建竞争性基线——然后被不同的协调逻辑所解散，其中可预测的规模回报胜过不确定的研究回报。兰福德的博文精确指出了机制：重组、不相容的哲学以及创始领导层的离开。它留下的开放问题是，研究到产品的交接能否在规模优先的公司内部制度化，或者希望其工作被使用的研究者是否会继续离开，前往能够实现这种交接的组织。