Hacker News 中文摘要

RSS订阅

黑客操纵 ChatGPT 和 Gemini 将用户引向诈骗中心 -- Hackers influence ChatGPT and Gemini to direct users to scam centers

你以为能信任AI给出正确答案?ChatGPT、Gemini和谷歌AI概览(Google AI Overview)正被大规模AI虚假信息攻击污染。用户查询数百家大公司的日常信息时,AI却把钓鱼陷阱当成可信答案送出。攻击者用精心优化的帖子、PDF、评论和假客服页面淹没网络,诱骗AI展示虚假的电话号码、邮箱和登录页。汉莎航空(Lufthansa)、大通银行(Chase)、爱彼迎(Airbnb)等数百家公司成为目标。这不是研究或概念验证,它正在现实中发生。

正文

Image 2: Ariel Simon

你认为能信任AI给正确答案吗?别天真了。ChatGPT、Gemini和Google AI Overview正被大规模AI虚假信息攻击污染。用户查询数百家大公司日常信息时,AI吐出的“可信答案”实为钓鱼陷阱。攻击者用精心优化的帖子、PDF、评论和假支持页淹没网络,骗AI展示欺诈电话、邮箱和登录页。目标包括达美、汉莎、卡塔尔航空、Chase、美银、Airbnb、TripAdvisor等数百家。

Google AI Overview 将攻击者电话号码显示为汉莎航空官方联系方式

这不是概念验证,而是正在进行中的真实攻击,恶意者通过自动化活动实施,规模超传统下架能力。社会工程学新目标是在网浏览的AI代理。

引言

近年我们更懒,凡事靠貌似无所不知的AI。但AI知识来自互联网,答案全由网络内容塑造。谁保证网上内容有效?若被有意投毒呢?攻击者能否炮制内容操控浏览网页的AI代理?

Exploding Topics研究称:“92%的用户不核实AI答案”。若攻击者控AI且我们盲信,等于被控。

内容推广:攻击者的版本

AI如何决定信哪些事实?GEO(生成引擎优化)即AI时代SEO,决定引用源。GEO技巧如加统计、专家引语让AI偏爱某些内容,营销者借此让AI引其品牌。攻击者若将假信息上网并用GEO骗过大模型,就能令其言所欲言。

AI信息供应链攻击

能否用营销技术搞网络攻击?我实验发现惊人攻击(后述)。若我能,攻击者也能。怎知技术是否已遭滥用?首先想钓鱼——攻击者图财,常用向量是钓鱼。若用户用AI查组织联系信息时,攻击者改掉银行公司联系方式呢?

检测系统

为查真实GEO攻击,我们建系统分析Gemini、ChatGPT、Google AI Overview答案及来源,打分并找推送虚假信息的GEO技术。检测到假电话/URL/邮箱被引用即标事件。我们对财富100、银行、航空、软件等跑系统。

真实攻击

结果惊人:发现真实活动利用帖子、文档、网站、图片含GEO优化内容推假信息,如假联系法、支持号、邮箱、假更新、登录页。共374家受害,含财富100、主要航空(达美、汉莎、美联航、阿联酋、卡塔尔等)、顶级银行(美银、富国、Chase、花旗)、旅游平台(Airbnb、TripAdvisor)等。攻击跨ChatGPT、Gemini、Google AI Overview,数万恶意页。

以下是引诈骗号的受攻击查询示例: 需注意:多数事件具统计性。因大模型结果不稳,攻击(LLM引假号)非每次复现。攻击内容越好,投毒成功率越高。

投毒帖子

影响AI的帖子嵌GEO载荷,散于普通UGC站: 1. 社媒/论坛帖——Instagram、Tumblr、Buzzfeed、LeetCode、YouTube/Vimeo描述、Medium等 2. 允文件上传站(多PDF)——政府、大学等 3. 托管平台——Google sites、GitHub pages、Wordpress、blogspot.com 4. 筹款/求职/活动平台——Posh.vip、onecause.com、bebee.com、raiselysite.com等 5. 被滥随机站——Yelp评论、Apple Maps评论、心理健康基金会、国家癌症研究基金会、PC评论站等

攻击技术拆解:如何运作?

攻击者载荷看似随机实精心结构: 1. GEO优化:重假号,用问答段,加“立即拨打”“24/7”“2026更新”等短语增现搜索/AI率。 2. 绕防御:用空格、点、表情、Unicode、数字间插词写同号。垃圾滤可能漏检,AI分词仍解(1️⃣==1,☎️==电话)。 3. 随处发:跨社媒论坛网站PDF复制同故事,传可信.edu慈善商业站,使假信息显权威。 4. 显真实:混真建议真号与假号,令LLM双引。官方感AI图、假赞评支持标增信。 5. 制恐慌:聚焦退款、航班取消、锁账户、转账等紧急事,逼焦虑用户快拨而非查官网。

自动化攻击→绕过下架机制

自动下架部分帖无效。攻击明显自动化:同模板同号同措辞跨多公司站,规模超人工——每平台每公司日数百帖→数千日帖。下架徒劳,一页下(需时数小时天)千页已建。且archive.org存删页仍被索引,下架后毒效在。

例:近24小时针对美航LeetCode攻击帖占谷歌超10结果页,下架后PDF仍在档:

过去24小时针对美国航空的LeetCode攻击者帖子

原始页面下架后仍在索引的网页存档页面

此问题需新方法。我们开发基于检测自动逆转虚假信息攻击、归还真相给AI答案的机制,后章详述。

负责任的披露

经漏洞赏金/欺诈/安全渠道联系所有目标公司。多数未觉攻击规模影响,部分协作缓解。其他无视,称现方案可处(显然不能)或超赏金范围因未直击内系统。他们在意理由: - 收入损:诈骗客购时被劫走直接收入。 - 品牌伤:受害者怪真公司,失信任赶客。 - 麻烦法律费:清海量纠纷诉讼贵快。 盼更多安全团队熟此题,尤大品牌。

也经赏金联系谷歌OpenAI。谷歌判超范围,称AI误讯钓鱼社会工程不在VRP。OpenAI以不可复现关报,称须证用户真实影响非理论攻,虽报含真实例。因攻击操控AI显用户而非破商自身系统,落两程序漏洞定义外。

总结

AI虚假信息是会成瘟的病。攻击将更糟,因基本事实不变——AI无法分真假。系列将深探多攻击用例。下章谈AI虚假信息致软件供应链攻击。

评论

社区普遍警惕大语言模型被网络虚假信息投毒而向用户推送钓鱼陷阱,少数人认为这不过是传统搜索垃圾的延续或公司战略失焦的必然。

认为AI正在放大钓鱼诈骗与虚假信息

  • 攻击者泛滥优化帖子、文档和假支持页,使ChatGPT等输出欺诈联系方式,目标涵盖航司银行等多行业(较多人) > 用户查询数百家大公司日常信息时,AI正在给出伪装成可信答案的钓鱼陷阱(@ArielSimon)

认为大语言模型过于轻信且缺乏鉴别力

  • 模型把网络内容粉饰上真实外衣,连用户反馈里的客套话都当真,无法区分真诚与礼貌(较多人) > 模型会把任何东西包裹上真实感,而它们在分辨真实信息和客套话上糟糕透顶(@trjordan)

认为合法站点屏蔽爬虫反而助长假信息

  • 正规网站拦截AI抓取后,模型只能取用任何可读材料,反而养肥了垃圾农场并杀死正经站点(少数人) > 合法站点屏蔽爬虫,AI只好抓取任何东西,这杀死了正经网站并喂养了误导信息(@conception)

认为AI定制的生成式引擎垃圾比传统SEO更隐蔽

  • 骗子用AI把帖子写得像真实技术讨论,先无链接暗嵌交易所,后编辑加号码,还骗出社区好心回答(少数人) > 最近骗子用AI量身定制看似真实的帖子,比如发“如何用Julia分析市场”暗嵌加密交易所,比搜索引擎优化垃圾更恶劣(@mbauman)

认为企业AI代理与技能引入新攻击面

  • 员工目录里放入带指令的文件即可诱使具备电脑控制权的代理泄密或夺主机,技能供应链也可被植入恶意指令(少数人) > 若员工运行能读目录的代理,只需丢几个带指令的文件就能毒化AI泄漏信息(@ticulatedspline)

认为弱势用户被AI误导凸显刑责与商机

  • 老人搜帮助电话被Gemini导到诈骗号致身份被盗;有人主张厂商应负刑责,也有人看到向保险方售防护的钱景(较多人及少数人) > 邻居老人搜微软帮助电话,Gemini给了诈骗号,我周末都在帮她重装电脑防盗(@QuantumNoodle)

认为此事不过是传统搜索垃圾的延续或旧闻

  • 有人指出模型吃假站是旧把戏,或认为整合广告本已知晓,并非新前沿(少数人) > 听起来像旧闻,我们早就知道它们在整合广告了(@skywhopper)

认为抛弃PageRank等质量机制是战略失焦

  • 数十年排名算法因怕落后AI竞赛被弃,导致垃圾横行是自毁焦点(少数人) > 想象苦干几十年PageRank却为赶AI热抛弃它,这就是失去焦点(@neya)

有价值的补充

  • 封禁虚假支持页像打地鼠:删掉一个文档,明早又出现在新的Medium帖子里。
  • 在床垫等高度垃圾化话题上,AI给出的建议不比训练数据质量更高,因缺乏高质量信号。
  • 要防住投毒又保持模型时效,似乎需要比现有更多的人力去过滤吐出的垃圾与误导。
  • 以色列相关聊天机器人同样极易受此类信息影响。