Garry Tan 谈 AI 模型蒸馏与支持开源权重生态系统的理由

Y Combinator CEO Garry Tan 呼吁建立一种允许美国开源权重 AI 实验室“蒸馏”前沿模型的监管环境。这一立场与 Anthropic 等前沿实验室直接对立，后者将此类行为定性为“非法蒸馏攻击”，并敦促监管机构打击这种做法。

支持“美国蒸馏体制”的理由

Tan 认为，允许规模较小的美国实验室从前沿模型中蒸馏知识，对于维持一个具有竞争力和稳健的 AI 生态系统至关重要。他的主要目标是防止出现一种“噩梦情景”，即由于拥有更优越的资本和研究人才获取渠道，单一的、庞大的专有供应商控制了最先进的 AI 能力。

Tan 的论点基于两个主要支柱：

公共利益 vs. 专有控制：Tan 主张，由于前沿模型是在广泛的、公开获取的数据上训练的——通常并未获得知识产权持有者的明确许可——因此由此产生的智能应该被更多地被视为一种公共利益，而非被锁定在限制性服务条款背后的专有资产。
战略竞争：通过使美国开源权重实验室能够使用蒸馏技术，美国可以开发出一套更多样化、高性能的开源权重选项，从而减少对非美国（特别是中国）开源权重模型的依赖。

蒸馏的定义

在 AI 训练的语境下，蒸馏是指模型制作者通过对一个更大、更强大的“教师”模型进行广泛的提示（prompting），从而训练出一个更小、更高效的“学生”模型的过程。虽然这是许多 AI 实验室合法使用的标准技术，但冲突在于当这种行为违反了供应商的服务条款 (ToS) 或通过欺诈手段进行时。

行业冲突：前沿实验室 vs. 开源权重倡导者

Anthropic 最近发布了一份威胁情报报告，指称中国实验室正在利用窃取的凭据和欺诈手段进行“非法蒸馏攻击”，以绕过 API 限制。Anthropic CEO Dario Amodei 已公开呼吁监管干预以停止这些行为。

相比之下，Tan 认为前沿实验室试图规定客户如何使用 API 输出的行为是一种过度扩张。他认为，一旦用户为 API 调用付费，他们就应该可以自由地按照自己的意愿使用这些信息。

社区观点与反论点

技术从业者和观察者之间的讨论凸显了关于蒸馏的合法性和伦理性的几个关键紧张关系：

“合理使用”与道德论点

许多人认为，蒸馏是一种“转化性工作”的形式，并且前沿实验室在声称知识产权盗窃方面并不具备道德高地，因为它们在构建模型时“掠夺了公有领域资源” (strip-mined the commons)。

"The frontier models are based on training data from tons of copyrighted work... The labs have no moral or ethical ownership to the end result, and others should feel free to treat any company-imposed restrictions on their use as invalid."

经济可持续性

一些批评者质疑在蒸馏常态化后的世界中的经济可行性。他们认为，如果数十亿美元的研究和数据获取价值被立即克隆到开源模型中，那么前沿实验室继续投资于新数据创建的动力将会消失。

信任与透明度

有人提出担忧，认为“开源权重”并不等同于“开源”。蒸馏一个黑盒专有模型可能会简单地将原始供应商未公开的偏见、意识形态倾向，甚至隐藏的漏洞注入到开源权重生态系统中。

技术效率

一些从业者建议，简单的蒸馏是一种收益递减的暴力破解方法。他们认为，更有效的方法是使用“教师”模型来生成专门为学生模型定制的、有针对性的、高质量合成数据集，而不是简单的提示-响应蒸馏。

战略分歧总结