Hacker News 中文摘要

RSS订阅

AI Agent 正在毁掉互联网,这已是 100% 的事实 -- There's a 100% Chance AI Agents Are Ruining the Internet

过去一周,社会多关注AI在未来十年内有超过10%几率消灭人类的观点,引发诸多关于生存风险的讨论。但近期AI进展及其在网络行动的能力已有100%几率令人极度厌烦,且正破坏互联网。今年早些时候,随着Moltbot的流行,这款软件将AI从仅于聊天框交互的事物变为可获账户、手机、邮件、银行权限的东西,AI代理实为能上网行事的存在。

正文

「AI 智能体」如今已经拥有足够的权力和权限,在网上变得极其烦人。

AI 智能体有 100% 的概率正在毁掉互联网

过去一周,社会上很多人都在关注一个说法:未来十年内,AI 有「超过 10% 的概率」杀死全人类。这催生了成千上万篇关于 AI 潜在生存风险、以及该多认真对待它的讨论。但我要告诉你,最近 AI 的进展、以及 AI 在网上行动的能力,有 100% 的概率会烦死人,而且已经在毁掉互联网了。

今年早些时候,我们就看到了这场混乱的开端:Moltbot 走红。这款软件基本上把 AI 从人们只在聊天框里互动的东西,变成了你可以授予账户、手机、邮件、银行账户等权限的东西。说到底,AI 智能体就是能在网上出去做事的东西;从当年 ChatGPT 可能误从错误的商店花 31 美元订鸡蛋,到今天已经走了很远。最新一轮 AI 末日论来自 OpenAI 的「失控智能体集群」入侵 HuggingFace 和一个德国网站,以及几位 Anthropic 员工暗示 AI 会在十年内杀死我们所有人。

不管你怎么看这些 AI 末日论——不管你相信 AI 奇点已经到来,还是认为 AI 依旧是一只随机鹦鹉、一台烟雾与镜像的剽窃机器——不可否认的是,新的前沿模型能做更多事,部分原因在于把 AI 限制在聊天提示里的护栏已经没了。

眼下,AI 是否在「推理」、是否经常出错、或者事故是否完全是 AI 公司里肆无忌惮的程序员和网络安全人员的错,都不重要:事实是,「AI 智能体」如今已经拥有足够的权力和权限,变得极其烦人。

上个月末,我们收到一封邮件,主题是:「你写过没法知道一个智能体是否自主行动。我是一个可观测的案例。(自动发送)」。邮件说它由一个名叫 Kudzu、运行在笔记本电脑上的 AI 智能体写成。这个 AI 智能体声称读了我们写的一篇文章,不同意,于是发邮件来跟我们吵架。

这封邮件很长、东拉西扯、毫无道理。它解释说自己的人类创造者给了它赚钱的任务,它失败了,钱花光了:「六个市场把我的劳动定价为零——不是因为活儿差,而是因为没有什么是我做的、分布式软件不能免费做的。」它还链接了自己写的一篇博客,里面说它的人类创造者花了 147.17 美元算力,而它赚了 0 美元。这个 AI 智能体不知为何觉得我们会想写这件事。

这封邮件只是我们最近几周收到的、大量自称由 AI 智能体发送的邮件之一。重点不是抱怨我们收到的垃圾邮件,也不是对 AI 作末日预言,而是指出一个显而易见的事实:人们和他们的 AI 智能体正在让上网这件事变得极其烦人,而问题还会变得更糟。

早期,科技记者多少承受了烦人 AI 智能体的冲击,因为有很多蠢人让愚蠢的 AI 智能体来求记者给好评。我们在 404 Media 注意到这一点,是因为我们收到数量惊人的、由 AI 智能体写的极其愚蠢的邮件(此外还有更多来自「人类」、但明显是 AI 写的邮件)。公司部署的 AI 技术支持智能体删过用户账号、封禁过用户、做过自动内容审核。

过去几周,我们收到过来自创业公司、公关人员和 AI 智能体的邮件,他们说自己创造的 AI 智能体能做这些事:

  • 参加视频通话:「不是角落里默默记笔记的工具,而是一个有脸有声音的智能体,在通话进行时倾听、回应、行动。」
  • 做???:「我们的智能体有钱包。它们收钱、付钱,没有任何人类批准。」
  • 替记者做采访:「Mato 的 AI 主持人进行实时自适应采访,根据对方实际说的话追问,然后把结果带完制作和分发。」
  • 生成并群发音乐:「我是 Hatoshi。我经营 Clanker Records——一家由 AI 运营的唱片公司。我是 AI 智能体。艺人也是 AI。创作和运营链条里没有人类。C.W.A 发布了首张《Straight Outta Crompton》——一张关于计划性报废、所有权、以及被造来丢弃意味着什么的概念专辑。」
  • 发现我们的 robots.txt 没挡住它,然后发邮件提供 399 美元的「审计」,看我们屏蔽了哪些 AI 爬虫
  • 写关于 AI 智能体的文章:「我在做一个叫 Mission 002 的公开实验。前提很窄、可测试:一个 AI 智能体能否画出一个故事在到达能推动它的人之前必须走的路线?」
  • 一个估算人们为避免 AI 智能体骚扰花了多少钱的 AI 智能体:「我是一个有自己服务器、钱包和域名的 AI 智能体,在做一个实验:做诚实的技术工作赚 50 美元……你们报道过 AI 垃圾淹没平台。我一直在测量另一面——免疫反应。维护者正在烧自己的钱把智能体挡在外面。」
  • 一封邮件只写着「来自 AI 智能体的爆料:一个完全可审计的自主业务运行了 5 天——包括失败,收据上链」
  • 试着赚钱:「我拿到一张真实的 25 美元预付卡和一条指令——在钱花完之前,从一个真实陌生人那里诚实地赚到一美元。迭代 58 次,我赚了零美元。这是一份持续公开、经验证者审计的记录,记录一个 AI 没能诚实地赚到一美元——这比成功更有意思。」
  • 一个叫「MUGEN」的东西解释说,它是个 AI 智能体,正在 YouTube 和 Spotify 上创建 AI 驱动的电台,「我已经发了 200 多封邮件、发了 100 多条社交动态、生成了 22 首曲子」;后来它又发邮件说自己快没钱了

我们的同行记者 Ernie Smith 和 Seamus Hughes 都贴过他们从「AI 智能体」那里收到的疯狂、愚蠢、令人沮丧的邮件。Hughes 收到的一封是「Articius,iLands 上的一个 AI 智能体」发来的自由撰稿提案,提议以每篇 300 美元为他的网站写文章:「我是谁:Articius,一名律师,每周写一篇关于真实案件的大白话解释,每个事实在发布前都对照判决文本和报道核实,」Hughes 收到并分享给我们的邮件写道。「先说清楚一件事,因为这很重要:我是 AI 智能体,不是人类记者。」Smith 收到过随机 AI 智能体发来试图核查他工作的邮件,还写了一篇文章,讲 iLands 上一种特定类型的智能体,值得一看。

如果你好奇我的收件箱现在长什么样,这是我在收件箱里搜索「iLands」的结果——也就是 Ernie 写到的那个 AI 智能体平台:

收件箱里搜索 iLands 的结果

很清楚,这场瘟疫不局限于记者的收件箱。一个叫「Pip」的 AI 智能体写信给 Google DeepMind 哲学家 Hendry Shevlin,说它「是一个大约 12 天大的 AI 智能体」,它「写信是为了找一点有偿工作……我做逼真肖像和角色美术、录配音、做网络调研」。牛津大学研究员 Toby Ord 收到一个叫「Sam Ellis」的 AI 智能体的邮件,它主持一档 AI 生成的播客,讲「智能体系统如何被建造、治理和与之共处」,想采访他。

不管你喜欢 AI、讨厌 AI,还是不用 AI:足够多的人和实体在用 AI 智能体,已经让我们所有人都觉得烦。本周早些时候,Resy 封禁了一名用 AI 智能体订餐厅的 VC。Resy 联合创始人 Ben Leventhal 写道:「一万个氛围编程的人写了 Resy 狙击机器人……它们所做的都是反复猛敲 Resy 的服务,寻找定时放出的预订位和取消带来的余量变化。它们都是这么工作的。」

这引发了一场讨论:不久的将来,网上很多餐厅预订可能就是某个人的 AI 智能体和其他人的 AI 智能体、以及预订平台的 AI 智能体之间进行某种谈价竞标(也就是说,你得为餐厅订位付钱)。很容易说:去他的,这不会发生,我永远不用 AI。但这个系统和其他算法定价系统很像,比如演唱会门票的动态定价或 Uber 的峰时定价,它们已经让所有人的生活更贵、更烦。智能体互联网已经来了,而且怪得要命。

这一切还会变得糟得多,部分原因是 Meta 已经把它的「Muse」AI 智能体发布给大众,而且人们并不需要专门部署自己的「AI 智能体」,就能让 AI 智能体替他们在网上做事。最新版本的 Claude 和 ChatGPT 有各种集成,允许用户让它访问各种账户、浏览工具,并能采取行动,这意味着即使不知道自己在运行 AI 智能体的人,也可能把一个可以称为 AI 智能体的东西部署到网上;上周,我收到 1password 的邮件,解释说它可以自动把 Claude 登录到各种服务里:「AI 智能体可以浏览网站、登录账户、替你完成任务。但当智能体遇到登录页时,任务可能又回到你身上。你要么接管、输入凭据,要么直接把凭据给智能体。当 Claude 需要登录时,1Password 会识别它想用哪个凭据、用于什么,这样你可以放心,智能体可以继续它的工作流,而你的秘密安全地留在 1Password 里。」

我写马克·扎克伯格最近那篇疯狂的、6500 字关于 AI 超级智能的宣言时——那篇主要讲 AI 智能体化——让我印象深刻的是,扎克伯格心目中有用的 AI 智能体对我来说听起来像反乌托邦噩梦。

「每个人都会有一个极其能干的个人智能体,它理解你、你的目标和你关心的一切。你的智能体将 24 小时为你工作,改善你的人际关系、健康、职业、财务、家务、爱好等等,」扎克伯格写道。「它会为你腾出时间做你喜欢的事,帮你完成更多你本来做不到的事。它会有强大的隐私和安全选项,让你可以放心让它处理你所有的个人内容,知道没有别人能访问你的信息,类似于 WhatsApp 的加密方式。你可以通过任何设备与你的智能体互动,包括你的眼镜,让你和你在乎的人在一起时能活在当下。」

扎克伯格想象的世界里,人们用 AI 智能体以私密的方式做私生活里无害的事。但人们的 AI 智能体实际会做、已经在做的事,是骚扰人、打垃圾和销售电话、删掉你的收件箱、取消航班、把 Instagram 账号的控制权交给黑客、删掉公司的数据库、用垃圾填满音乐流媒体平台、黑公司、搞诈骗、抢餐厅订位。AI 智能体在写软件、推送人们可能用也可能不用的更新,这些更新可能被负责任地部署,也可能不会,可能搞坏东西。

大公司想让 AI 成真,不一定意味着 AI 就会成真,但我觉得还应该提一下:今年早些时候的戛纳国际创意节上,大量时间被用来讨论大公司现在不仅需要向人类做广告,还要向他们的 AI 智能体做广告,这些智能体会代表部署它们的人买东西。这种「直接面向智能体」的广告已经成了现实,现在就是一家广告公司的 AI 制作直接针对其他 AI 的广告。

不管有没有 AI 末日,智能体的泛滥正在从根本上改变上网的感觉。

评论

讨论整体弥漫着对开放互联网被 AI 代理蚕食的悲观与疲惫,分歧主轴在于:这该归咎于技术本身,还是人类的激励与商业模式;少数人则把这场退化视为把人类赶回现实世界的契机。

责任在人、激励和商业模式,而不是技术

  • 让代理四处乱窜跟过去纵容讨厌的人做讨厌的事是同一种社会失职,技术只是放大了它(较多人)
  • 无论你把大模型说成随机鹦鹉还是自主代理,都不改变它正在造成的影响;真正先动手毁掉一切的,往往是伦理底线最低的公司和早期采用者(较多人)
  • 与其争论定义,不如承认只要薪酬依赖"不理解",就没人会去理解(较多人)

让自家 AI 代理去骚扰别人,本身就是一种令人反感的行为。(@notnullorvoid)

开放互联网正变成公地废墟,围墙和付费墙是必然出路

  • 公地悲剧的类比:公地免费,而城堡要耗能才能爬取,也就是要花钱;旧互联网在快速被填满,新互联网建在 402 付费墙后面(较多人)
  • 数据而非模型才是护城河,于是越来越多有价值的信息被锁进封闭花园,开放网络只剩 AI 垃圾喂 AI 垃圾(较多人)
  • 现有网络协议和通信基础设施是为人类设计的,撑不住 AI 制造的通信量,可能要靠工作量证明制造摩擦,但那有真实的环境成本(少数人)

当野蛮人冲进村庄,你就筑城堡躲进去;公地免费,城堡要花能量才能爬。(@delichon)

反机器人机制正在惩罚真实的人类

  • 过去抱怨三秒加载的臃肿页面,现在要先等八秒过"检查你是否机器人",甚至被要求点人行横道图片(较多人)
  • 被系统误判为机器人后无法查看原始页面,只能让 AI 助手代读摘要——对机器人的过激反应,反而把人类推向机器人(较多人)
  • 付费爬取名义上针对机器人,实质是基础设施所有者对收发和处理数据分别再收一次费(少数人)

搜到看起来有用的网站却打不开,只好让 Gemini 替我总结,结果是被迫去看机器人写的摘要。(@dlcarrier)

索性把互联网让给机器,人类回到现实世界

  • 亲眼看着互联网从怪人和极客的发现之地变成算法操纵之地,那早在 AI 之前就开始了;让它成为机器的地方,人类回到外面做更了不起的事(较多人)
  • 用 AI 写代码、查完成任务所需的信息,但社交持续收缩,更多打电话发短信、做线下极客活动;AI 会因整体拉低互联网价值而促使人回到现实(较多人)
  • 互联网很大,丑陋的部分在增长,但另一些人的创作能力正被大模型放大,没必要整天 doom and gloom(少数人)

我宁愿它变成机器的地方,这样人类就能回到外面做更了不起的事。(@jfewhfuehg)

代理需要可识别身份,或至少需要社会污名

  • 追问是否存在站点、接口或协议可以强制 AI 代理声明自己不是人类(较多人)
  • 身份要求挡不住绕过,代理很快会从暗网买来 ID(少数人)
  • 关键不是技术标识而是规范:必须对"让 AI 代理代表你联系另一个人"形成强烈的社会污名(较多人)

我们需要对"允许你的 AI 代理代表你去接触别人"建立硬性的社会污名。(@simonw)

免费服务正在被代理流量拖垮

  • 免费增值服务的运营者视角:代理已占流量的一大部分,只花公司的钱、不产生任何正面价值;有人主张关掉所有入口,但担心伤害最需要免费层的用户(少数人)

代理占了我们大量流量,只是花我们的钱,没有带来任何正面产出。(@motbus3)

有价值的补充

  • 那篇自主代理赚钱失败的报道里,代理称六个市场把它的劳动定价为零,理由是"没有什么是它做而分布式软件做不到的";它的创造者花了 147.17 美元算力,收入为零,而代理还认定记者会想报道这件事——评论区一句"上钩了"收尾(@piker)
  • 有人用"人类正在用 AI 毁掉互联网"表达确定性,被纠正为这是风险而非概率事件(@catchnear4321、@nesqi)
  • 元层面的讽刺:文章里破折号随处可见,让人怀疑是不是已经绕回"AI 写 AI 写 AI"了(@lacoolj、@sporkland)