法律专家警告：Meta修订后的商业条款在10月30日截止日期前仍允许广泛抓取
Meta从其即将生效的商业账户服务条款中删除了“训练”一词，但法律专家表示，修订后的措辞仍授予该公司广泛权限，可抓取与这些账户“关联”的网站——并且仍将robots.txt合规性作为自愿承诺而非合同权利。
周五下午发布的修订，紧随尼曼实验室周四的一篇报道，该报道称新的商业条款将允许广泛抓取与商业账户“关联”的网站，并可能允许Meta使用这些内容来训练其AI模型。新条款定于10月30日生效，商业账户在此之前无法选择退出。
Meta在修订条款中更改了哪些内容
Meta的修订从允许的用例列表中删除了“训练”一词，并将这些用途缩小为“广告和商业产品”，而非所有Meta产品。该公司还增加了关于平台安全和完整性的语言。
修订后的部分现在部分内容如下：
您授权我们（或代表我们行事的任何实体）使用自动化软件（如网络爬虫、机器人、蜘蛛、爬虫和用户代理）并创建测试凭据，以访问、索引、缓存、分析、收集、检索或抓取与您的产品或服务关联的域名、网页或URL（以及通过它们可用的任何内容），或通过您或用户使用Meta公司产品和服务而可用的内容，并定期从这些域名、网页或URL拉取更新，以提供、开发、改进、研究和维护广告和商业产品（包括商业、商业及相关产品，以帮助您创建和投放广告及其他商业内容，向用户提供有关您产品和服务的信息，并将您与可能对您产品和服务感兴趣的用户联系起来）并维护Meta公司产品的完整性和安全性。
原始版本（已存档）内容如下：
您授权我们（或代表我们行事的任何实体）使用自动化软件（如网络爬虫、机器人、蜘蛛、爬虫和用户代理）并创建测试凭据，以访问、索引、缓存、分析、收集、检索或抓取与您的产品或服务关联的域名、网页或URL（以及通过它们可用的任何内容），或通过您或用户使用Meta公司产品和服务而可用的内容，并定期从这些域名、网页或URL拉取更新。Meta可能使用来自这些域名、网页或URL的任何内容，以提供、开发、改进、研究、训练和维护根据这些商业条款及任何其他适用的补充条款提供的Meta公司产品、服务和功能的完整性。
为什么法律专家表示修订未解决核心问题
尼曼实验室咨询的三位法律专家对修订后的条款及Meta的相关声明持怀疑态度。他们的反对意见集中在三点：“开发”一词仍涵盖AI训练，robots.txt不具有法律强制执行力，以及“与您的产品或服务关联”的措辞仍允许抓取整个网站。
“开发”足够宽泛，可包含“训练”
Loevy & Loevy律师事务所的媒体和知识产权律师Matt Topic表示，措辞的变化并未改变许可的实质：
我认为出版商应继续保持关注。修订后的新条款版本仍允许Meta使用抓取的内容来开发任何“商业产品”。这似乎不是一个定义明确的术语，而且据推测Meta正在开发AI商业产品。我认为“开发”足够宽泛，可以包含“训练”。
Meta目前将其商业产品的示例列为“广告、Meta商业工具和Meta商业套件”。
robots.txt是一种偏好，而非法律权利
威斯康星大学法学教授Benjamin Sobel解释说，robots.txt表示网站的偏好，但遵守这些偏好完全是自愿的。他将其比作房主挂出“不要看我的房子”的牌子——该牌子表达了偏好，但并未创造可强制执行的法律权利。
您仍然可以表达偏好，除非它是法律上可强制执行的偏好，否则它仍然可以被无视。
Meta在其修订后的服务条款中未包含任何关于尊重robots.txt偏好的具体语言。
“与您的产品或服务关联”仍涵盖整个网站
康奈尔法学院数字与信息法教授James Grimmelmann表示，关于允许用途的附加语言并未限制可抓取的范围：
[更新]并未解决我的担忧。虽然它增加了更多关于允许用途的语言，但“开发……广告和商业产品”[语言]仍然宽泛得足以让卡车通过。这并未限制“与您的产品或服务关联”[语言]，该语言将允许Meta抓取整个网站。
Meta关于robots.txt和修订的声明
周六，Meta发言人表示，公司修订条款是因为“在初步整合条款中，未明确说明robots.txt偏好受到尊重。新闻网站，如同所有其他内容所有者，仍可通过robots.txt标志禁用爬虫。情况一直如此，且未改变。”
在另一份声明中，发言人表示：“我们听到了你们的意见，并想澄清：我们整合的抓取条款仅适用于我们的广告和商业产品，我们已在条款中明确说明。这与抓取新闻网站无关，这些更新并未赋予我们超越这些偏好的新权利。”
发言人还表示，Meta正在将其“广告创意生成式AI条款”纳入其一般商业条款，以便更容易理解。
Meta抓取权限如何扩大
Meta当前的条款已允许抓取与商业账户关联的网站，但仅限于非常特定的场景。该语言出现在Meta的服务条款中，适用于账户使用Meta的生成式AI功能投放广告的情况，且抓取的内容仅可用于“优化您的广告”。
将该语言添加到更一般的服务条款中——并允许将抓取的内容用于所有“广告和商业产品”——是Meta抓取权限的实质性扩展。根据修订后的条款，Meta可以部署自动化软件，如网络爬虫、机器人、蜘蛛、爬虫和用户代理；创建“测试凭据”以访问、索引、缓存、分析、收集、检索或抓取内容；并定期从这些域名、网页和URL拉取更新。
谁受影响以及10月30日截止日期的意义
几乎所有新闻机构至少拥有一个Meta商业账户，该账户允许公司在一个地方管理Facebook页面、Threads账户、Instagram个人资料和WhatsApp频道。在10月30日生效日期之前，商业账户没有开关或表单可以拒绝新条款。避免授予该权限的唯一方法是完全移除在Meta平台上的商业存在。
出版商和行业组织的反应
至少三个新闻组织因尼曼实验室的报道而公开表达了对即将生效条款的担忧。
欧洲出版商委员会在周五更新之前宣布，将正式请求欧盟电信监管机构及其执行机构欧盟委员会“紧急审查这些条款，包括其对版权、合同公平性和滥用市场支配力的影响。”
代表英国媒体的行业组织英国新闻媒体协会于10月16日（周五）发表声明，呼吁政府官员进行干预。其首席执行官Theo Bamber表示：
Meta这种无耻的圈地企图，试图从新闻出版商和商业网站抓取一切内容来训练其AI产品，是最恶劣的傲慢科技平台欺凌行为。我们迫切需要部长和监管机构站出来支持英国创作者和商业社区，谴责这种 outrageous 行为，并阻止Meta开创这一可怕先例。
美国最大的新闻出版行业组织新闻/媒体联盟谴责了这些条款。其总裁兼首席执行官Danielle Coffey称该更新“令人愤慨且可能违法”，并表示：
该公司决定除非企业允许Meta从其网站抓取内容，否则拒绝其访问受众，这是一种令人震惊的、恶意的政策，并且明显滥用了公司的市场支配力。绝不允许其在10月30日实施。
从业者讨论的技术缓解措施
Hacker News上的评论者认为，网站运营商不应将robots.txt视为安全控制。一位评论者写道：“永远不要依赖robots.txt。配置它，但不要依赖它。机器人会做机器人能做的事。”同一评论者建议在服务器级别关闭连接，理想情况下静默关闭套接字，并抑制来自Web守护进程的第一个TCP RST和来自操作系统的第二个。
另一位评论者报告说，用户代理阻止对Meta的爬虫已不再有效：“按UA阻止现在毫无意义，meta-externalagent会轮换，并且一部分来自非Meta的ASN。我们通过ASN加TLS JA4匹配，这实际上有效。”
另一位评论者质疑这些条款是否在实践中改变任何东西，指出Meta已经在其网站上相当定期地抓取，即使有robots.txt，并询问这一变化的目的是否是为更密集的抓取提供理由。
关键事实一览
- Meta从其即将生效的商业账户服务条款中删除了“训练”一词，并将允许的抓取用途限制为“广告和商业产品”。
- 修订后的条款仍允许广泛抓取与企业的产品或服务“关联”的域名、网页和URL，并且仍不包含关于尊重robots.txt的约束性语言。
- Meta表示robots.txt偏好受到尊重，且更新并未授予超越这些偏好的权利。
- 法律专家Matt Topic、James Grimmelmann和Benjamin Sobel均表示修订未解决他们的担忧。
- 新条款于10月30日生效，商业账户在此之前无法退出。
- 欧洲出版商委员会、英国新闻媒体协会和美国新闻/媒体联盟均已公开表示反对。