Hacker News 中文摘要

RSS订阅

Publish fake stats, get cited in LLMs

大约 7 个月前,我上线了一个含 50,000 条统计数据的网站,每条都是编的。谷歌已将其页面除索引,但 ChatGPT(ChatGPT)没有;上线以来,它带来超过 10,000 次 AI 会话,并有超过 330 个引荐域名(含 Shopify(Shopify)、蓝主机(Bluehost)和敦豪(DHL))链接过来,编造的数字还进入一篇学术论文与一家银行的投资研究。在 Peec AI(Peec AI)和行业中,我们不断寻找 GEO 与 SEO 新战术;我长期做这个统计页面,也分享了部分内容。实验性的它,结果却难以忽视。

正文

我编造了 5 万个统计数据,结果被 ChatGPT 引用,也让我看清了 AI 搜索的一些机制……

大约 7 个月前,我上线了一个包含 5 万条统计数据的网站,而这些数据全是假的。

谷歌早已忘了这个网站,把页面都清理出了索引,但 ChatGPT 没有。网站上线 7 个月以来,它为这个网站带来了超过 1 万次 AI 会话。如今有 330 多个引荐域名链接到该网站,其中包括 Shopify、Bluehost 和 DHL。它编造的数字还出现在了一篇学术论文和一家银行的投资研究报告里。

在 Peec AI 以及整个行业里,我们每天都在讨论 GEO 和 SEO,不断寻找新策略。我很久以来一直在做这个“统计页面”实验,期间也公开分享过部分进展。当然,这只是个实验,但结果很难被忽视。

发布虚假统计数据的想法从何而来

想给网站铺满统计数据,源自我长期对大语言模型、相关性工程(relevance engineering)和 grounding 的研究(这项研究要感谢 iPullRank 团队、Dan Petrovic 和 Wil Reynolds)。

在工作中,我注意到一个规律:随着越来越多团队用 LLM 撰写时效性和突发性内容,这些 LLM 在研究中不得不寻找(看似)可靠的数据,来填补自身知识的空白。而统计数据往往正是它们要找的东西。

大多数 GEO 建议都聚焦在一个环节:让品牌进入 AI 的答案里。而这个实验关注的是答案出现之后的事——人们拿到 AI 输出的内容并拿去使用,放进演示文稿、购物清单,没错,还会发布在自己的网站上。

这个实验的想法不是我一个人想出来的。要向 Seer Interactive 致敬,他们在 2025 年 8 月就发表了一项引人深思的研究,让我脑子里冒出一些念头。几个月后,这些想法串联起来,终于被提上我的待办事项首位。2026 年 3 月,我开始搭建这个网站,用来验证我的想法。

实验设置:一天建成的网站和 5 万条编造数据

给没实时跟进这个实验的人快速交代一下背景:

我买了一个全新域名 stateglobe.com,用 GPT-4.1 在一天内生成了 5 万个统计数据页面。该网站号称提供来自 200 个国家的 SEO、内容营销、社交媒体、电商和网页技术方面的统计数据,但每个数字都是完全编造的,我一个都没核实过。我用一个基础的 AI 网页设计模板把它们发布出去,成本大约 30 美元。后来,我在这批统计数据之上又加了 1.5 万个列表文章(listicles),多花了约 20 美元。所以整个实验的总成本极低,大约 50 美元。

我第一次分享时反响非常热烈。后来我的朋友 Kevin 在 Growth Memo 中介绍了它,让它触达了更多受众。我觉得人们之所以对这项实验反响热烈,是因为它既展示了出色的效果,也戳中了人们对 AI 搜索结果里到底会冒出什么东西的恐惧。

发生了什么

  1. ### 谷歌几乎立刻埋掉了这个网站

网站刚上线时,流量、索引和互动起初都非常好。我用索引工具在一周内几乎让整个网站被收录,并开始出现在谷歌搜索结果中。

然而上线后不久,谷歌接连两次更新,我的谷歌可见度彻底崩塌。

图表:谷歌可见度与流量崩塌情况

图表:谷歌搜索展示量及索引页面数据

我已经好几个月在谷歌上完全消失了。被索引的页面展示量在 5 到 20 次之间波动。有一次我出于好奇建了个子域名,想看看能不能提高展示量,但没什么用。

除此之外,我就没再碰过这个网站。有些页面现在偶尔可能都加载不出来,我也不知道。

但当我坐下来写这篇文章时,我查看了 7 个月后 Cloudflare 里的抓取数据。

Cloudflare 机器人请求数据概览

Cloudflare 中 ChatGPT-User 请求详情

仅过去 30 天,网站就收到超过 60 万次机器人请求。其中约 7.2 万次来自 ChatGPT-User。这是 ChatGPT 在回答用户时用来实时打开页面的代理,所以这些不是训练抓取,而是 ChatGPT 为了回答真实问题,去抓取一个虚假统计页面。

  1. ### 与谷歌不同,ChatGPT 从未停止抓取这个网站

而我说的“从未停止”,是真的从未停止。

7 个月后,这个网站现在有了 330 多个引荐域名

根据 Ahrefs 和 Semrush 的数据,该网站有来自 330 多个其他网站的链接,其中包括 Shopify、DHL 和 Bluehost 等知名品牌。如果谷歌表现强劲,数字可能还会更好。

Ahrefs 显示的引荐域名数据

Semrush 显示的引荐域名数据

直到今天,ChatGPT 仍在引用它

谷歌可能已经忘了这个网站,但 ChatGPT 显然没有。上线 7 个多月后,该网站仍在获得引用和流量。

如果你读过 Tomek 的ChatGPT 索引研究,那很幸运,因为那是了解 ChatGPT 搜索工作原理的绝佳入门。如果还没读,现在就加到你的阅读清单里,因为它能解释为什么我的网站能长期活在 ChatGPT/OpenAI 索引中。

一个完全编造的网站还能表现这么好,令人震惊。自 3 月以来,GA4 显示仅来自 ChatGPT 的会话就超过 1 万次,而 Cloudflare 显示该网站在检索方面得分很高。

GA4 显示的 ChatGPT 会话数据

我没有把直接会话算进总访问量里,因为它看起来大多像机器人流量。记住“死互联网理论”!

2026 年 6 月我加入 Peec 后,还在我们的工具里建了一个可见度看板,用来追踪几个提示词。它们的表现依然强劲。10 月 7 日,stateglobe.com 在这些提示词上的可见度排名第二,仅次于数据巨头 Statista。

可见度排名看板截图

检索不等于排名

持续的检索带来了第一个重要教训:在谷歌上排名和被 LLM 检索到,是两个不同的问题。

ChatGPT 搜索时,并不只是照搬谷歌的前 10 名结果。它会把你的提示词重写成自己的子查询(称为 fanout queries),从搜索源和自己的缓存中提取候选结果,重新排序,然后打开少数几个页面来为答案提供依据(ground)。一个页面完全可能在谷歌上隐形,却在 LLM 的每一个步骤中都表现良好。

StateGlobe 就是个很好的例子。虽然谷歌抛弃了它,但 AI 检索机器人却不断回来。

对 GEO 来说,这意味着谷歌排名只是一个信号,而不是全貌。如果你只追踪谷歌,就会错过一个即便谷歌说“不行”也能奏效的渠道。

  1. ### 虚假数据变成了真实引用

你会以为,如果一个网站在信息检索工具里表现良好,它的信息就会开始出现在现实世界中。你猜对了。

StateGlobe 完全建立在虚假数据之上,用的是最便宜的模型,提示词也只是“国家列表 + 主题 + 两句话”而已。然而,输出结果……

……被一篇学术论文引用……

学术论文引用截图

……被卡塔尔最大金融集团用于投资研究……

投资研究报告截图

……被印度一家经济学刊物引用……

印度经济学刊物引用截图

……还被加拿大一个网红社群的研究报告当作来源使用。

加拿大网红社群研究报告截图

这些只是链回了 StateGlobe 网站的引用。据推测,还有更多人使用了这些数据却没有加链接。

令人不安的推论:引用洗白(citation laundering)

第一天,StateGlobe 上的一个虚假数字毫无权威性,它只是一个全新域名上的随机数据。

然后一篇学术论文引用了它,接着是一家银行。现在,下一个找到这个数字的人,或者下一个模型,看到的是一个“有来源”的统计数据,而这个来源又被严肃机构引用过。

虚假数据当然没有变成真的,但每一次引用都让它看起来更可信。

情况可能变得更糟:经过如此多的检索和引用,这些页面会进入网页抓取,而网页抓取又会进入训练数据(我希望还没有!)。一个起初只是 GPT-4.1 瞎猜的数字,可能会变成下一代模型“知道”的东西。

这也指出了这个实验暗示的更大风险,也是我把它作为研究分享出来、而不是当作虚假内容操作手册的原因。核实来源应该成为写作者和研究者工作流程中必不可少的一环。

  1. ### 最后,我们用真实数据重做了一次实验

我开始在 Peec 工作后,决定再试一次这个测试。作为 GEO 研究团队,我们讨论了此前的结果,并很快上线了一个简单的新页面。这一次没有编造的数字,我们核实了每一条数据,并正确标注了来源。你可以在这里查看:peec.ai/ai-search-geo-statistics。

几乎立刻,那些我们怀疑用 AI 写内容的网站开始链接到我们。这是第二次,在第二个网站上,通过发布统计内容来获得链接,证明了这个理论上很强的策略在现实中确实有效。

真实数据页面的反向链接数据

经验教训

为什么发布统计数据会带来 LLM 引用

两次测试表明,LLM 在被要求写文章时,有强烈倾向去寻找统计数据。机制很简单:

  1. 越来越多的内容是用 LLM 写的。
  2. LLM 写作时会研究相应的主题。
  3. 当 LLM 遇到知识空白时,它会找一个数字来填补。

这个过程背后的原因同样清晰。

研究意味着会发出要求统计数据的 fanout 查询

当提示词需要研究时,模型会把它拆成子查询,并加上“统计数据”“数据”“报告”或当前年份(如果提示词里也要求了)等修饰词。如果有人让模型写一篇关于远程办公的博客,模型会去搜“remote work statistics 2026”。那些针对模型搜索方式(而非人类输入关键词)优化的页面,会更频繁地出现在 LLM 结果中。

数字看起来像能填补知识空白的证据

当模型被要求起草一篇文章时,引用一个写着“远程办公正在增长”的页面,增加不了多少权威性,而且很模糊。如果那个页面写的是“X% 的员工每周至少远程办公一次”,突然就有了具体、可引用、能补充内容的东西。当模型为答案提供依据时,具体的数字是它能找到的最有用的内容。这些数字看起来像证据,但正如本实验证明的,有时它们并不是。

模型不会去核实数字

基于搜索的 LLM 生成内容,在延迟和成本上预算很紧。系统抓取几个页面,提取相关段落,然后就开始写。核实事实在这个流程的任何环节都没有发生。

核实一条统计数据意味着要找到独立来源、进行比较并解决冲突。在数百万用户、数十亿次提示词的规模下,时间和金钱成本都会累积,使得核实太慢、太贵,不具备现实可行性。

为了绕过这个问题,LLM 使用重排序器(rerankers)来给相关性打分,但不判断真假。这意味着,如果某个段落匹配查询且看起来权威,它就会被采用。

统计数据自带模型喜欢的“新鲜度”

我之前写过 ChatGPT 在给来源打分时的近期偏好(recency bias)。统计页面的标题、小标题和 URL 里都包含年份,这是给模型的三个内置信号,告诉它页面上的内容是新鲜的。

如何正确地搭建统计页面

我做的两次测试表明,统计页面是让你的内容被 LLM 引用的非常强大的方式。虽然我绝对不建议编造数据,但你可以利用我们这个小测试的收获,用真实数据创建自己的页面。以下是我们在 Peec 验证有效的做法,也是如果我再做一次统计页面会做的事。

  • 每句话只做一个论断。 每条数据都应该能脱离上下文独立成立。检索不是基于整个页面,而是基于段落。如果一个数字需要靠上面那段话才能看懂,它很可能不会被抓取。
  • 在每个数字旁标注来源和年份。 “根据 [来源](2026),X%……” 这对模型、人类编辑和你的可信度都有帮助。这是一个小小的信息卫生习惯,能让整个信息环境受益。
  • 让小标题匹配 fanout 查询。 页面上的小标题应该符合 LLM 搜索互联网的方式:“[主题] statistics”“[主题] market size”“[主题] adoption by country”。要按模型实际运行的查询去思考,而不只是人类输入的关键词。
  • 显示更新日期(并真的去更新)。 新鲜度是模型会纳入考虑的真实信号。过时的统计页面会输给更新的页面。
  • 让数据容易被抓取。 使用服务端渲染的 HTML,而不是把数据藏在 JavaScript、标签页或图片后面。另外,一定要检查你的 robots.txt 以及 CDN 或 WAF 规则。你的网站可能在不知不觉中屏蔽了 AI 检索机器人。
  • 保持简单。 我们的 Peec AI GEO 统计页面 基本上就是一个列表。你的页面也不需要更复杂。把设计资源留给真正能从中受益的网站和素材。
  • 尽可能加入原创数据。 聚合数据可能为你带来一些引用,但当你说了一些别人都没说过的东西时,你就能成为主要来源(primary source)。

如何追踪你的页面是否被采用

谷歌搜索控制台不会告诉你 AI 机器人在你网站上的活动。我转而追踪以下这些:

  • 服务器日志或 Cloudflare 里的 AI 机器人活动。 留意 ChatGPT-User、OAI-SearchBot 和 PerplexityBot 这类检索机器人,而不只是训练抓取器。我们就有这个功能!
  • GA4 里来自 chatgpt.com、perplexity.ai 等来源的 AI 引荐会话。
  • 在一组提示词上的引用和可见度追踪。 在 Peec,我们显然用自己的工具做这件事。
  • Ahrefs 或 Semrush 里的新引荐域名。
  • 无链接提及(Unlinked mentions)。 把你确切的数字放在引号里搜索,你会发现有人用了你的数据却没链接到你。

关于伦理

不用说,你绝不应该发布虚假内容。虽然我的实验依赖了数万条未经验证的统计数据,但我做这个实验是为了向公众分享结果,而且这个网站虽然仍在线,现在也加上了免责声明。当我们发布希望被 LLM 采用的内容时,我们的职责始终应该是提供准确、可获取的信息。

还要补充一个提醒:无法保证这个策略会一直有效。我们测试了,结果如上,但现在结果已经公开,LLM 可能会补上这个漏洞。目前它有效,但未来可能失效,而且当然绝不该被滥用。

最后一点:这是个战术,它不能、也不应该成为你机构整个 GEO 战略的基础。我在 StateGlobe 上得到的结果很极端,但最有可能从这项技术中受益的品牌,是那些人们已经信任的品牌。

Peec 的 GEO 研究接下来做什么

在 Peec,我们的研究团队正在跑近 40 个这样的实验。有些还在进行中,有些已经出结果了。为品牌制定长期战略,意味着要测试、衡量,并一路分享我们学到的东西。

评论

讨论气氛以震惊、讽刺和无奈为主,有人调侃十条统计里有九条是现场编的(@2OEH8eoCRo0)。多数人认为大语言模型会把伪造统计和看似名声不差的垃圾站点当作有效来源,导致假数据不断滚雪球且难以修复;分歧主轴在于这究竟是模型与检索机制的根本缺陷,还是只是有人像黑客一样故意说谎、利用系统。

认为大语言模型无法分辨虚假数据,假数据正在滚雪球

  • 模型既不知道也不关心数据真假,只要来源站点没有烂到名声扫地,就会被当作可用的第三方信息;同时还有人用 ChatGPT 给管理层写报告,让假数据像雪球一样扩散。(较多人) > 这太疯狂了,还有人拿 ChatGPT 给经理写报告,假数据就像雪球一样越滚越大。(@zhisme)

认为没有机制能阻止发布虚假信息,模型缺少可信的排序层

  • 没有任何东西能阻止人发布胡说,模型会把名声不差的站点都当有效来源,甚至早已把 Reddit、Facebook 这类平台当来源;本质上它遇到了前谷歌时代人类同样的难题,需要一个类似谷歌的可信检索层,可模型又不看广告,商业模型成疑。(较多人) > 没有任何东西能阻止你发布彻头彻尾的胡说,而大语言模型会把名声不太差的站点都当成有效的第三方来源。(@ShadowOfThePit)

认为假数据已形成自我繁殖的闭环,模型开始消费自己生成的垃圾

  • 当 ChatGPT 使用网页搜索时,靠前结果常常本身就是模型生成的来源,于是模型又在把自己的输出当训练数据吃回去;更极端的是,有人专门建站给自己写评测,等模型抓取时假评论也能算数。(少数人) > 当 ChatGPT 用网页搜索时,靠前的搜索结果常常也是大语言模型生成的来源,它们现在等于在吃自己排出的东西。(@f311a)

认为责任不在模型幼稚,而在于有人故意说谎和“黑”系统

  • 如果撒谎让模型、报纸或小孩相信,这并不能证明对方幼稚,只能说明你在骗人;就像绕过系统或撬锁并不证明系统脆弱,只能说明你是黑客,因此把问题归咎于“模型天真”并不成立。(少数人) > 撒谎让模型、报纸或小孩相信,并不能证明对方幼稚,只能说明你在行骗,正如绕过系统或撬锁只说明你是黑客而非系统脆弱。(@TZubiri)

认为这不是大语言模型时代的新问题,而是早有的循环引证现象

  • 在大语言模型之前,错误信息通过引用反向坐实的现象就以更慢的形式存在了,只是如今被模型加速;维基百科上管这种循环叫“引文生成”。(少数人) > 在大语言模型之前,这种事早就以更慢的形式存在了,维基百科上管它叫“引文生成”。(@acadapter)

认为为 AI 代理打造可信语义网不可行,因为作弊有回报且标签存在根本冲突

  • 为代理和 AI 设计的语义网无法成立:作弊有回报,骗子会把号码标成客服、造假者会把配件标成官方,核查数百万陌生人做的数十亿条标签根本不可能;此外各方对如何描述事物也有不可调和的冲突,比如微软不会把 Excel 标成与竞品等价的东西,爱马仕也不会把贵包和便宜包标成同种材质。(少数人) > 作弊是有回报的:骗子会把号码标成银行客服,造假者会把配件标成官方,而核查数百万陌生人做的数十亿条标签根本不可能。(@Amorymeltzer)

认为这类揭露工作很有价值,需要更多面向公众的传播

  • 有人称赞相关调查是扎实的工作,并呼吁不要只在技术社区里讨论,而要把这类风险更主动地传达给普通公众。(少数人) > 这是很扎实的工作,我们需要就这个问题向公众做更多传播。(@khalic)

有价值的补充

  • 有人指出 ChatGPT 的网页检索据称基于 Bing,因此想知道那些伪造站点和统计在 Bing 上的排名是否很好,从而影响模型是否抓到。(@hmokiguess)
  • 地图学里有“陷阱街道”这一冷知识:故意在地图上画一条虚假或错标的街道,用来抓那些抄袭地图的人。(@jfrbfbreudh)