一项研究发现,AI模型引用的软件推荐中近60%来自排名极低的网站,三个网站制造了超过21.5万个“最佳软件”页面,且均于2023年12月后创建。
正文
一项针对AI推荐系统的调查显示,在380个软件类别中,Perplexity模型引用的7534个网页链接中,59.8%指向排名在Tranco前100万之外的低知名度网站,23.4%甚至完全不在排名中。其中三个网站(wifitalents.com、worldmetrics.org、gitnux.org)在2023年12月后才注册,共同发布了215,128个机器生成的“最佳XX软件”页面,其首页标题直接标注为“事实与依据页面”,显然是为AI检索系统量身定制。这些网站共享同一套模板和DNS服务器,内容高度重复,例如在“项目估算软件”类别中,三个网站给出了完全不同的排名结果。此外,Guideflow.com作为一个营销博客,也被引用了194次,成为第三大信息来源。尽管这些低质量网站被大量引用,但最终推荐的产品中,99%的厂商网站仍然可以正常访问。研究强调,这一现象仅针对Perplexity模型,不适用于其他AI系统。
评论
根据评论内容,主要观点和论据如下:
1. AI生成内容污染与模型退化问题 - 评论1指出,LLM搜索引擎可能训练其他LLM生成的内容,导致“自噬”循环,放大错误和缺陷("Will we get to a point where AI-generated sites make up a majority of the internet, and LLMs are training upon their own regurgitations, with exponential amplification of all their lies and flaws?") - 评论10提到,LLM倾向于偏好自身生成的内容,而非人类编写的文本("LLMs favor LLM-generated passages over human written ones") - 评论16举例说明,LLM会基于单一错误的人类评论编造虚假信息("There was no Foobar square in XYZ town... It's all a lie")
2. Perplexity产品体验问题 - 评论7详细批评Perplexity:优化速度牺牲质量,链接与内容不匹配,UI功能不稳定,客服差("They started optimizing for speed of responses over quality of results... The links and references it gives frequently don't match the text right next to them") - 评论11认为Perplexity产品平庸,用户粘性低,免费试用后流失严重("They never had a great product... the general AI business not being very sticky")
3. AI SEO与垃圾内容泛滥 - 评论3指出,操纵训练数据以推荐产品已成庞大产业("Manipulating training data so that models will recommend your product is undoubtedly a big industry") - 评论9揭露,有公司专门通过刷Reddit等平台让AI“发现”其内容("whose whole job is 'get found by ai' by spamming reddit and other talk sites") - 评论15呼吁标记AI生成内容,认为此类报告本身也是AI垃圾("I will just flag every post that is entirely AI slop from now on")
4. 对文章本身的质疑 - 评论5和11指出文章本身明显是AI生成的("this itself is clearly a Claude artifact" / "The irony of this article being fully AI generated") - 评论12质疑文章证据链薄弱,仅凭共享DNS服务器就断言所有权("Sharing a nameserver pair is strong circumstantial evidence... rather than proof of ownership") - 评论17批评只测试Perplexity,未涵盖更流行的ChatGPT、Gemini等("Why only test Perplexity...? Isn't it the least popular among these?")
5. 替代方案与建议 - 评论7推荐使用Claude或ChatGPT进行AI辅助搜索,质量更高("If I want to do actual research or AI assisted web searching I have Claude or ChatGPT do it. The results are so much higher quality") - 评论13建议白名单可信来源(如Wikipedia、Reddit、arXiv)进行搜索("I'd rather... whitelist wikipedia, reddit, arxiv... than include everything")
总结:评论普遍担忧AI生成内容污染导致模型退化,批评Perplexity产品体验差且易受SEO操纵,同时质疑文章本身的质量和证据。部分评论建议转向其他AI工具或采用白名单策略。