Meta（Meta）已删去将面向商业账户（business accounts）推出服务条款中的“train”一词。此前，尼曼实验室（Nieman Lab）10月15日（周四）报道称，新条款会允许广泛抓取与商业账户“associated with”的网站，并可能将这些内容用于训练AI模型（AI models）。Meta在10月16日（周五）下午修订版中，把用途限于广告和商业产品（advertising and business products），但仍允许广泛抓取并可能越过robots.txt限制。10月17日（周六），Meta发言人称修订是因未明确尊重robots.txt偏好，新闻网站仍可用robots.txt标志禁用爬虫。

Meta 已从其即将适用于商业账户的服务条款中删除了“训练”（train）一词。此前，Nieman Lab 周四的报道披露，新条款将允许广泛抓取与商业账户“相关联”的网站，并可能允许 Meta 使用抓取的内容训练其 AI 模型。公司随后修改了条款。

周五下午发布的修订版中，Meta 从允许的使用情形列表中删除了“训练”一词，并将这些用途限制为“广告和商业产品”，而非所有 Meta 产品。但据法律专家称，修订后的条款仍将允许广泛抓取网站，并可能凌驾于 robots.txt 文件之上。

周六，Meta 发言人表示，公司修改条款是因为“在最初整合条款时，对于 robots.txt 偏好会得到尊重这一点表述不够清晰。新闻网站和所有其他内容所有者一样，仍然可以通过 robots.txt 标志禁用爬虫。情况一直如此，且没有改变。”

但 Meta 并未在修订后的服务条款中加入任何关于尊重 robots.txt 偏好的具体措辞。新条款定于 10 月 30 日生效。在此之前，商业账户没有选择退出新条款的选项。

“我认为出版商仍应保持警惕，”Loevy & Loevy 律所的媒体与知识产权律师马特·托皮克（Matt Topic）说。“新版条款的修订版仍允许 Meta 使用这些抓取内容来开发任何‘商业产品’。这个词似乎没有明确定义，而且 Meta 大概正在开发 AI 商业产品。我认为‘开发’一词宽泛到足以包含‘训练’。”

Meta 目前将其商业产品的例子列为“广告、Meta 商业工具和 Meta Business Suite”。

事实上，几乎每家新闻机构都至少有一个 Meta 商业账户，企业可通过它在一个地方管理 Facebook 主页、Threads 账户、Instagram 简介和 WhatsApp 频道。

截至发稿时，相关部分内容如下（加粗为改动之处）：

您授权我们（或代表我们的任何实体）使用自动化软件（例如网页抓取工具、机器人、爬虫、蜘蛛、爬行器和用户代理），并创建测试凭据，以访问、索引、缓存、分析、收集、检索或抓取与您的产品或服务相关联的域名、网页或 URL（以及通过这些域名、网页或 URL 提供的任何内容），或通过您或用户对 Meta 公司产品和服务的使用而提供的域名、网页或 URL，并定期从此类域名、网页或 URL 拉取更新，以便提供、开发、改进、研究和维护广告和商业产品（包括帮助您创建和投放广告及其他商业内容、向用户提供有关您产品和服务的信息，以及将您与可能对您的产品或服务感兴趣的用户建立联系的业务、商业及相关产品），并维护 Meta 公司产品的完整性与安全。

原始文本如下：

您授权我们（或代表我们的任何实体）使用自动化软件（例如网页抓取工具、机器人、爬虫、蜘蛛、爬行器和用户代理），并创建测试凭据，以访问、索引、缓存、分析、收集、检索或抓取与您的产品或服务相关联的域名、网页或 URL（以及通过这些域名、网页或 URL 提供的任何内容），或通过您或用户对 Meta 公司产品和服务的使用而提供的域名、网页或 URL，并定期从此类域名、网页或 URL 拉取更新。Meta 可以使用来自此类域名、网页或 URL 的任何内容，以提供、开发、改进、研究、训练和维护这些商业条款及任何其他适用补充条款下提供的 Meta 公司产品、服务和功能的完整性。

一位发言人在声明中说：“我们听到了您的声音，并希望澄清：我们整合的抓取条款仅适用于我们的广告和商业产品，并且我们已在条款本身中明确了这一点。”该发言人声称出版商仍可使用 robots.txt 文件更新其抓取偏好。“这与抓取新闻网站无关，这些更新也没有赋予我们凌驾于这些偏好之上的新权利。”

Meta 目前的条款允许其抓取与商业账户关联的网站，但仅限于非常特定的场景。该措辞见于其服务条款中，即当账户使用 Meta 的生成式 AI 功能投放广告时。抓取的内容只能用于“优化您的广告”。

将这一措辞添加到更通用的服务条款中，并允许抓取的内容用于所有“广告和商业产品”，是对 Meta 抓取权限的实质性扩大。

Meta 发言人表示，公司正在将其“Ad Creative Generative AI 条款”纳入其通用商业条款，以使其更易于理解。

Nieman Lab 咨询的三位法律专家对修订后的服务条款和 Meta 最近的声明持怀疑态度。

“这次更新并没有解决我的担忧，”康奈尔大学法学院数字与信息法教授詹姆斯·格里梅尔曼（James Grimmelmann）说。“虽然它增加了更多关于允许用途的措辞，但‘开发……广告和商业产品’的措辞仍然宽泛得离谱。这并没有限制‘与您的产品或服务相关联’的措辞，而正是这一点会让 Meta 抓取整个网站。”

威斯康星大学法学教授本杰明·索贝尔（Benjamin Sobel）解释说，robots.txt 表明了网站的偏好，但遵守这些偏好完全是自愿的。他将此比作房主立了一块牌子，写着“不要看我的房子”。立这块牌子并没有赋予房主一项可强制执行的法律权利来阻止人们看房子。“你仍然可以表达这种偏好，除非它具有法律强制力，否则它仍然可以被无视，”他说。

由于 Nieman Lab 的报道，至少三家新闻组织已公开对这些即将生效的条款表示担忧。

在周五的更新之前，欧洲出版商理事会（European Publishers Council）宣布，它将正式向欧盟电信监管机构及其执行机构欧盟委员会请愿，要求“紧急审查这些条款，包括其对版权、合同公平性和滥用市场支配地位的影响”。

代表英国媒体的行业组织英国新闻媒体协会（United Kingdom News Media Association）周五发布了声明，呼吁政府官员进行干预。

“Meta 试图从新闻出版商和商业网站抓取一切内容以训练其 AI 产品，这种无耻的掠夺行为是最恶劣的傲慢科技平台霸凌，”首席执行官西奥·班伯（Theo Bamber）说。“我们迫切需要部长和监管机构站出来支持英国创作者和商业界，谴责这种暴行，并阻止 Meta 开创这一恶劣先例。”

美国最大的新闻出版行业协会 News/Media Alliance 谴责了这些条款，其总裁兼首席执行官丹妮尔·科菲（Danielle Coffey）称此次更新“令人愤慨，且可能非法”。

“该公司决定，除非企业允许 Meta 从其网站抓取内容，否则就切断其受众访问，这是一项令人震惊的、恶意的政策，并且明显滥用公司的市场力量，”科菲说。“不能允许它在 10 月 30 日生效。”

讨论气氛愤怒且冷嘲，多数人认为 Meta 即使有 robots.txt 也会照抓不误，条款变更至多是为更大规模抓取找借口。分歧主轴是继续依赖 robots.txt 与用户代理规则，还是改用 ASN、TLS 指纹和静默断链等连接层手段反制；少数声音则质疑公开数据本身是否值得抓取。

认为 Meta 早已无视 robots.txt，条款变更只是走过场或为更大规模抓取铺路

• Meta 抓取行为并不受 robots.txt 或所谓“许可”约束：有人观察到它已在定期抓取站点，即便设置了 robots.txt，因此条款改动可能只是给更密集抓取找理由；也有人直接质疑，既然 Meta 无论如何都会做，讨论它“获得许可”并无意义（较多人） > “Meta 已经在定期抓取我的网站，即使有 robots.txt；这次条款变更难道只是为更密集的抓取正名？”（@Retro_Dev）

认为靠 robots.txt 与 UA 封锁已无效，应在连接层和 ASN/TLS 指纹层反制

• robots.txt 只能配置但不能依赖；用户代理封锁也已经失效，因为 Meta 的外部代理会轮换，且部分流量来自非 Meta 的 ASN。有效做法是按 ASN 与 TLS JA4 指纹匹配，并在识别后直接静默关闭 socket 连接，抑制来自 Web 守护进程和操作系统的 RST，以避免暴露（较多人） > “按 ASN 加上 TLS JA4 指纹来匹配才真正奏效。”（@Heronsunny）

指责 Meta 双标并呼吁抵制其产品

• Meta 投入大量资源阻止他人抓取 Facebook（连用户自己的动态都抓不到），自己却抓取外部网站，双标令人愤怒；有人直接称扎克伯格是“头号公敌”，呼吁不要使用 Meta 的应用（较多人） > “别碰 Meta 的应用，扎克伯格是头号公敌。”（@DivingForGold）

认为 Meta 不道德是常态，警告也不会改变它

• 社区对 Meta 的伦理问题并不意外，觉得全球最赚钱却对社会毫无正面贡献的公司不道德只是又一个平常日子；对寡头的专家警告也被认为不会有下文（较多人） > “专家警告寡头‘不好’，新闻永远不会播。”（@cyanydeez）

有价值的补充

• 有评论提出，真正值得抓取的数据不在公开网页，而在专家的 IDE 以及其接受挑战、解决问题的过程之中（@asanineassasin）。