一项针对Perplexity搜索模型的研究发现,在其引用的1826个包含数字的句子中,34.7%的引用指向无法打开或不含相关数字的页面;按主张计算,14.4%的872个主张失败。
正文
好的,这是根据您的要求,对原文进行中文重述后的版本:
标题:Perplexity 超过三分之一的引用无法支撑其引用的数字
核心发现: 一项针对 Perplexity AI 搜索模型的审计发现,在其引用的1826个用于支撑某个数字陈述的标记中,有34.7%指向了无法打开或根本不包含该陈述中任何数字的页面。如果按每个独立陈述来计算,则有14.4%的陈述存在引用失效问题。
具体细节: 研究人员向 Perplexity 的两个搜索模型提出了310个关于210家科技公司的事实性问题,并收集了所有引用的来源。他们逐一检查了这些页面,看其是否真的包含了被引用的内容。结果显示,在那些引用了具体数字的1826个标记中,超过三分之一指向了普通读者无法打开的页面(如需要登录、付费墙),或者页面虽然能打开,但其中完全没有被引用句子里的任何数字。值得注意的是,失效的主要原因并非死链(仅占1.3%),而是页面无法访问或内容不匹配。
研究方法: 研究使用了10类事实性问题模板(如公司成立时间、最新融资轮次、总部地址等),并设置了温度参数为0以确保结果可复现。Perplexity 模型会在其回答中内联标记引用来源,这使得逐句审计成为可能。研究人员随后抓取了所有被引用的唯一URL,并对其状态进行分类(如有效、需付费、死链等)。对于包含数字的陈述,他们通过检查被引用页面的可见文本中是否包含至少一个陈述中的数字(如金额、百分比、年份等)来判断引用是否有效。
关键数据: * 引用失效比例: 34.7%的引用标记指向了无法打开或不包含相关数字的页面。 * 按陈述计算: 14.4%的独立陈述存在引用失效问题。 * 页面可访问性: 在 sonar 模型引用的2915个唯一URL中,78.7%可正常阅读,16.1%需要登录或付费,1.3%为死链。 * 内容不匹配: 在可打开的页面中,有16.1%的页面不包含被引用陈述中的任何数字。 * 模型表现: 付费模型 sonar-pro 与免费模型 sonar 在引用准确性上表现相似,没有显著差异。
典型问题类型: 引用失效最严重的问题类型是“现任CEO是谁”(通过率仅44.3%)和“总部地址”(通过率53.0%),因为这些信息往往分散且难以在单一权威来源中找到。而“员工人数”和“成立年份”这类通常有结构化数据记录的问题,引用通过率则较高(分别为82.0%和75.0%)。
结论: 该审计表明,Perplexity AI 的引用系统存在显著缺陷。大量引用无法为读者提供有效的验证途径,要么因为页面无法访问,要么因为页面内容与引用陈述不符。这削弱了其作为信息来源的可信度。研究强调,他们衡量的是“引用作为证据是否有效”,而非“AI的回答是否正确”。一个正确的陈述也可能配上一个无效的引用。
评论
根据评论内容,总结如下:
主要观点:AI生成内容(特别是Perplexity等工具)存在严重的引用造假问题。
支持方观点(多数评论): 1. 引用不可靠:AI生成的引用看似可信,实则虚构或指向低质量来源。 - "Saw a citation with a preview for source A... Checked, and it referenced a Reddit article and various other less reliable sources." (Gecko4072) - "It creates citations and references that look close enough to be plausible but are just made up of thin air." (gamblor956)
用户体验差:用户普遍反映点击引用后找不到对应内容,或链接失效。
- "My favorite is hallucinated slop with sources that 404." (wopwops)
- "Same is true of Google search 'summaries' where quite often I click on the link provided and it doesn’t support the statement." (wrs)
信息质量螺旋下降:AI引用AI生成的内容,导致网络信息质量恶化。
- "This plus AI just citing AI slop. There's a real downward spiral unfolding with the quality of information available on the internet." (cmiles8)
质疑方观点(少数评论): 1. 可能存在协调攻击:有评论指出同一天出现多篇针对Perplexity的类似文章,怀疑是蓄意抹黑。 - "Why are there two anti-Perplexity articles from independent research firms with identical websites on the front-page of HN right now, submitted by the same person?" (nightpool) - "This article appears to be a coordinated attack on Perplexity." (breakpointalpha)
其他相关讨论: - 有评论提到AI引用问题已引起法律关注,如加州要求律师审查AI生成文件。 - 部分用户建议给AI提供确定性工具(如直接复制粘贴)来改善引用准确性。 - 有评论指出Truth Social(特朗普媒体平台)也使用了Perplexity的AI搜索功能。