自主代理(Autonomous agents)是当下AI领域最热门的事物。OpenAI、Meta、谷歌(Google)和Instinct等公司称,其代理能代表用户浏览互联网,完成从订晚餐、清理收件箱到买新鞋等任务。可一旦其他网站拒绝配合会怎样?最近几周,Meta的Muse、xAI的Grok、OpenAI的Dots及Instinct的用户反映,这些代理在主流网站频频受阻,Yelp、达美航空(Delta Air Lines)和摩根大通(JPMorgan Chase)等已开始或确认阻止其访问。
正文

自主代理是当下 AI 领域最炙手可热的概念。OpenAI、Meta、Google、Instinct 等公司都承诺,它们的代理能代替你在互联网上搜寻信息,从预订晚餐、清理收件箱到买新鞋,几乎什么都能做。但如果互联网的其他部分不愿配合,会发生什么?
最近几周,Meta 的 Muse、xAI 的 Grok、OpenAI 的 Dots 以及 Instinct 等服务的用户反映,它们的 AI 代理在执行任务时被许多主流网站屏蔽。Yelp 告诉 TechCrunch,只允许接入其数据授权计划并付费的 AI 代理;达美航空则阻止代理替用户订票。摩根大通和嘉信理财也确认,出于安全考虑,正在阻止 AI 代理访问账户。一些用户说,此前还能配合其 AI 代理的网站现在也进不去了,其中包括 Cars.com 和 Amtrak,这说明可能有其他公司在悄悄封禁。
亚马逊去年就开始抵御 AI 代理:它封禁了 Perplexity 的代理购物功能,并起诉这家 AI 初创公司,引发了关于代理在网页上未来的法律和现实问题。当时亚马逊称,曾“多次要求”Perplexity 停止让其 AI 代理在其网站购物,并补充说,代表客户购买商品的第三方公司“应当公开运作,并尊重服务提供商是否参与的决定”。
Perplexity 回应称,亚马逊不希望 AI 代理在其平台上随意活动,因为这样一来,看到其广告的真人眼球就会减少——这对这家电商巨头确实是个问题。这家 AI 初创公司将它的代理比作用户的延伸,指责亚马逊“不相信你有权雇人、拥有助手或员工代表你行事”。后来一名法官曾命令 Perplexity 停止让其 AI 代理在亚马逊网站购物,但八月一家上诉法院推翻了这一裁决。亚马逊此后提交了修改后的诉状。
即使网站没有彻底封禁 AI 代理,代理仍可能与反机器人系统发生冲突
这场仍在进行的法律战并没有阻止 OpenAI、Meta 和 Google 推出自己的代理。但它们遇到了和 Perplexity 一样的问题。Meta 那个看似可爱、实则带有误导性的 AI 助手 Muse,最近就撞上了亚马逊的枪口,亚马逊称 Muse“持续访问”违反了其网站政策。也有报告称,xAI 的 Grok、Instinct 的 AI 代理以及 OpenAI 的 Dots 同样无法使用亚马逊。xAI 的所有者埃隆·马斯克回应说,或许他“应该开一家亚马逊的竞争对手”。机器人越难进入这些地方,人们就越质疑它们到底有多大用处。
“这会影响 Anthropic 和 OpenAI 这类公司的感知价值吗?我认为绝对会。” AI 安全评估机构 EquiStamp 首席执行官 Chris Canal 告诉 The Verge,“其中一个说法是,这些代理将渗透到我们生活的方方面面,能够做任何我们在网上能做的事。如果有公司在积极阻止这种情况发生,代理能做的有用之事就更少了。”
本月早些时候,Meta 曾发文回应网站屏蔽 Muse 的情况。“拒绝一个个人代理,就是拒绝它背后的客户,”该公司说,“我们更愿意与企业合作,解决它们的根本顾虑,而不是看着它们失去这位客户。” Meta 没有选择和亚马逊硬碰硬,而是与沃尔玛、Gap、丝芙兰、百思买等零售商合作,让 Muse 能在这些网站购物。与此同时,Shopify 也向 AI 代理开放了它的店铺网络。
The Verge 就 AI 代理遭遇的阻碍联系了 OpenAI 和 Google 请求置评,但没有立即收到回复。Instinct 拒绝置评。
反机器人系统如今已在全网无处不在。Reddit 上的报告显示,Google 正在以“可疑活动”为由封禁部分使用 Muse 的账号;尽管 Walmart 与 Meta 有合作,也有人反映在 Walmart 结账时仍遇到问题。“有很多机制被设置出来,甚至不是为了拦截代理,而是为了拦截那些试图诈骗或入侵的普通机器人或程序,” Canal 补充说,“这些 AI 代理触发了同样的防护机制。”
网络架构提供商 Cloudflare 也在帮助网站压制不受欢迎的 AI 访客。在 2025 年推出一键屏蔽 AI 爬虫的功能后,Cloudflare 开始屏蔽那些同时抓取网站、既用于搜索索引又用于 AI 训练的爬虫。此举是 Cloudflare 为拯救互联网、抵御 AI 机器人涌入所做努力的一部分;这些机器人正在给互联网基础设施带来压力,并严重干扰电子邮件收件箱,最终可能让人们在购买演唱会门票、预订餐位或试图买到某些商品时,比现在更难与机器人竞争。
虽然这些屏蔽措施可能把一些 AI 代理和机器人挡在网站之外,但 Canal 说,随着越来越多网站推出确认你不是机器人的界面,它们最终会让互联网用起来更“烦人”。“我们很快可能会在一个普通的杂货购物网站上看到这种情况:你不得不折腾一大堆步骤,来证明自己是一个正在用电脑或手机的真人。”
评论
多数人质疑网站封禁 AI 代理是正当防卫,认为真正动机是保护广告收入、反比价护城河与双标利益;少数人虽支持对大实验室大规模爬虫设限,却提醒消费者与劳动者未必从代理比价中受益,并担心开放网络会退化为机器人对机器人。分歧主轴在于:围堵会走向代理付费打通和用户绕过,还是只会加速“少许好、过量就坏”的公地悲剧。
认为封禁根源是广告收入与反比价护城河
- 网站靠售卖用户注意力维持免费服务,AI 代理却不交出注意力;代理还会忽略广告与加价销售,替用户跨平台比价,冲击平台靠“别去比价”建立的便利护城河,因此被封是利益驱动的必然。(较多人) > 公司不想让比价变容易,亚马逊的前提正是让你懒得去查竞品;AI 代理在拉平赛场、帮用户找到最优惠,所以当然会被封。(@variety8675)
- 其实多数内容多年以来早已躲在付费墙或登录墙后面,代理被封只是把这种“不开放”从真人访问延伸到自动化访问。(较多人)
认为代理终将获胜,网站会转向收费或开放机器接口
- 在代理即将成为大众主要购买入口前封锁,时机很糟;若不让代理搜你的网站,就会直接流失订单,历史也会像媒体从抵制视频平台到求着被收录那样反转。(较多人)
- 更可能的结局是网站与代理达成交易:提供去掉广告与脚本的 XML/JSON/YAML 版本、返回 HTTP 402 要求按次付费,或推出分发给站点的“网页搜索”订阅,形成代理搜索优化,让站点因被代理访问而获补偿。(较多人) > 现在该开始返回 HTTP 402 状态,让代理按次付费。(@deadbabe)
认为围堵会催生绕过手段并让商业更对抗
- 用户会像对付广告拦截器那样自己找变通:个人代理只是用户的延伸,放慢请求、做拟人操作,遇到验证码时由人接手就能继续访问,说明纯技术封堵对个体很难彻底生效。(较多人) > 我还没遇到不能用 Chrome MCP 爬取的网站;只要放慢速度、做些看起来像人的额外操作,遇到验证码时我人工解一下,它就能继续。(@0xbadcafebee)
- 若 AI 不够强,失去便利护城河的电商会更对抗:会员价、监控定价、忠诚福利,以及用差异化规格(如床垫、好市多)规避比价;只有 AI 足够强,才可能用激进比价、替代品发现、议价和团购替消费者赢回竞争。(少数人)
认为平台双标,且反爬已误伤真实用户
- 平台奉行“你不能抓我,但我能抓你”的双标;小企业网站被抓到崩溃却无力防护,最后只能依赖 Cloudflare 这类方案,反而让中间商成为赢家。(较多人) > 这也是一种“你不能抓我们,但我们能抓你”的心态;小企业网站被抓得很惨,却无力阻止,最后 Cloudflare 成了赢家。(@dawnerd)
- 更反直觉的是,反爬不只针对代理:第三方防护(如 DataDome)仅凭 IP 或浏览器扩展组合就把真人误判为机器人,导致注册或访问区域站点失败,且用户申诉无门。(少数人)
认为开放网络会沦为机器人对机器人,私有站点将兴起
- 代理普及后,开放网络会像 Usenet 一样退化为机器人替更高层工具互相取信息的场所;社交媒体会转向没有公开档案的私有网站和私人圈子。(少数人) > 开放网络会走向 Usenet 的结局:机器人和机器人对话,替更高层的工具抓取信息。(@sigspec)
怀疑消费者与劳动者未必从代理比价中受益
- 反对平台的人默认开放比价省下的钱会自动回到消费者或制造商,但优步颠覆出租车后并非如此;一旦代理成为生活不可或缺的部分,消费者和劳动者仍可能拿到更差的一端。(少数人) > 以优步颠覆出租车为例,一旦 AI 代理成为生活不可或缺的部分,消费者和劳动者最后总是拿到更差的一端。(@harikb)
认为这只是“少许好、过量就坏”的公地悲剧重演
- 邮件、社交网络、带广告的免费站点、开放 API 都经历过“先美好、后滥用、再上锁”的循环;验证码、账号墙和受限 API 密钥都是上一轮滥用的结果。代理并没有改变底层结构,只是放大并加速系统里的攻防与防御反应。(较多人) > 代理并没有改变底层结构,它们只是放大并加速了系统里的某些部分,因此也会放大并加速防御性反应。(@sfink)
有价值的补充
- 精巧类比:整个网络建立在“把用户注意力卖给别人、用免费服务当报酬”之上,而 AI 代理的价值主张恰恰是不交出注意力也能获得服务,这解释了系统为何本能抵制代理。(@spwa4)
- 部署冷知识:有站长因贸易战刻意避开美国技术,把虚拟机放在加拿大机房,并用 Anubis 而非 Cloudflare 防抓,据称体验尚可。(@m-p-3)
- 现状观察:GPT 的 dot 功能已被 Cloudflare、Google Cloud、Vercel 等系统封杀,同时 OpenAI 又封掉 Tailscale 等方案,导致浏览器控制的实用性被削弱。(@canucktrash669)
- 交易进展:Cloudflare 曾表示会让 AI 爬虫付费,但普通站长报名后并未收到回复;Shopify 也已向 AI 代理开放其店铺网络。(@zzzeek)