Hacker News 中文摘要

RSS订阅

聊天式LLM复刻灵媒骗局机制 -- Chat-based Large Language Models replicate the mechanisms of a psychic's con

大约一年来,我一直在研究语言模型和扩散模型在软件业务中的应用。研究中一直令我困惑的是,许多人坚信语言模型,尤其是基于聊天的语言模型,具有智能。但大型语言模型(LLM)内部并没有似乎能实现这一点的机制。LLM不是大脑,与动物或人用来推理和思考的机制没有有意义的共同之处,没有理由相信它会思考或推理。

正文

过去一年左右,我大部分时间都在研究语言模型和扩散模型在软件业务中的使用。研究中一个让我困惑的问题是,很多人深信语言模型、尤其是聊天型语言模型是有智能的。

但大语言模型(LLM)里并不存在任何看起来能实现这一点的机制,如果真存在,那也完全无法解释。

LLM 不是大脑,与动物或人类推理思考所用的机制没有任何实质重合。

LLM 是语言 token 的数学模型。你给它文本,它会给你一个数学上说得通的回应。

没有理由相信它会思考或推理——事实上,迄今所有 AI 研究者和厂商都反复强调这些模型不会思考。

对这一现象有两种可能解释:

  1. 科技行业意外发明了一种全新心智的最初阶段,基于完全未知的原理,用完全未知的过程,在生物界没有任何对应。
  2. 智能幻觉存在于用户脑中,而非 LLM 本身。

包括我在内的许多 AI 批评者坚定站在第二阵营。我关于生成式「AI」风险的书就叫《智能幻觉》(The Intelligence Illusion)。

近几个月我在琢磨一个想法,我认为它能解释智能幻觉的机制。

我现在相信这些 LLM 里的智能和推理比我之前以为的还要少。

许多被提出的用例在我看来已近乎欺诈性的伪科学。

机械通灵师的崛起

智能幻觉似乎和通灵师的骗术基于同一机制,通常称为冷读。它看起来是对同一套基本策略的意外自动化。

通过使用验证性陈述——比如利用福勒效应的句子——聊天机器人和通灵师都给人一种能给出极其具体答案的印象,但这些答案实际上在统计上是通用的。

通灵师用这类陈述制造能读心、听见亡者秘密的假象。

聊天机器人制造出有一种智能正在与你及你的工作具体互动的假象,但这印象不过是统计把戏。

这个想法最早植根于我脑中,是当我在翻阅人们对这些「AI」推理能力的评论时。

起初我以为这只是典型的技术泡沫热情,但不是——「AI」吸引的是另一群人,而「AI」泡沫的信徒听起来和以往泡沫完全不同。

——「这是真的。有点令人担忧,但它是真的。」

——「确实有点东西。不知道该怎么看待,但我亲自体验过。」

——「你要对可能性保持开放。一旦你开放了,你就会看到里面确实有东西。」

这时我想到,是 Terence Eden 一篇关于聊天机器人回复中福勒式陈述普遍存在的博文触发的。我以前听过这套话。

这种敬畏、不信和恐惧交织的措辞,听起来正像精神术士骗局受害者——也就是通灵术受害者的说辞。

通灵师的骗局是久经考验的诈骗手段,历经岁月打磨。

下面我描述的是其中一种变体。变体很多,但核心机制相同。

通灵师的骗局

1. 观众自我筛选 多数人对通灵师之类不感兴趣,所以初始观众群体本就比一般人更开放、更缺乏批判性。

2. 布置场景 初始观众被调动起来。灯光调暗。通灵师被吹捧。工作人员在社交媒体上或通过交谈调查观众。观众的人口特征被记录。

3. 缩小人口范围 通灵师估量手中掌握的观众信息,朝某一排或某一群做手势,说出一句听起来具体、实则对该人群统计上很可能成立的话。通常至少有一人会反应。如果没有,通灵师会暗示那个「真正」的人不好意思站出来,提醒大家可以私下约读,然后重新尝试。

4. 测试目标 反应表明目标相信自己被「读」了。这引发一连串问题,同样听起来极其具体,实则统计上通用。如果目标不回应,通灵师就宣布初次读取成功,再试一次。

5. 主观验证循环 骗局真正开始。通灵师问一系列对目标听起来极其具体的问题,实则只是基于其人口特征和先前回答的统计上可能的猜测,用特定、极其自信的方式表述。

6. 「哇!那个通灵师是真的!」 通灵师结束对话,目标留下通灵师拥有超自然能力的印象。但通灵师不是真的。这全是骗局。

1. 观众筛选

预言家、塔罗师、通灵师、读心者并非都是骗子。有时「通灵师」公开表明一切只是娱乐,并不假装能联系亡灵或读心。有些通灵师完全没有牟利动机,没有欺诈的话称其为骗子不太公平。

但很多人确实是故意欺骗他人的骗子,他们用的都是同一套基本机制,而且早在正式读心之前就开始了。

观众通常只由本就倾向相信通灵现象的人,以及他们拉来的人组成。铁杆怀疑者几乎总是观众中极少数,这既让他们容易管理,也给他们施加社会压力,使他们淡化怀疑。

到场者已被预设为相信,并已熟悉围绕通灵师的神话。这都有助于管理期望、框定表演。

2. 布置舞台

通常在表演开始时,观众会被提醒通灵读心「如何运作」的基本规则。媒体、电影、电视的普及帮了大忙。

现在人人都「知道」:

  • 读心开始时通常模糊不清。
  • 随着与「灵界」的「连接」增强,会逐渐清晰。
  • 出错是正常的。「灵体」往往含糊或难以听清。
  • 不信者会削弱甚至干扰连接。

通灵师还会习惯性地调查观众,摸清人口特征,在社交媒体上查找,甚至让工作人员在表演前混入观众进行非正式访谈。

灯光暗下时,通灵师应该已经清楚哪些观众是好目标。

3. 缩小范围

目标通常是自己选自己的。通灵师说出一句话,朝某一排指去,根据谁对这句话有可见反应迅速调整手势。这看起来像是从一开始就指向了目标。

目标因此从一开始就被预设为相信通灵师。他们措手不及,通常有些惊讶,对通灵师接下来连珠炮般的问题毫无准备。如果这些问题奏效、目标上钩,接着就是真正的读心。否则,通灵师继续找下一个。

4. 测试目标——用主观验证进行冷读

骗局——冷读——取决于人类心理的一个特点:如果我们个人能对某句话产生共鸣,通常会认为它是准确的。

这种心智运作的不幸副作用叫做主观验证。

主观验证,有时称个人验证效应,是一种认知偏差:如果一条陈述或信息对人有个人意义或重要性,人就会认为它是正确的。受主观验证影响的人会把两个不相关的事件(即巧合)视为相关,因为他们的个人信念要求它们相关。

因此,许多人即使面对最通用的陈述,只要能产生共鸣,也会将其理解为专门针对自己。

他们越渴望在陈述中找到意义,效应越强。

他们越相信说话者有能力做出准确陈述,效应越强。

通灵师骗局的基本机制就建立在目标愿意且能够把所说内容联系到自己身上,哪怕是无意的。

5. 用验证性陈述构成的主观验证循环

通灵师利用这一认知偏差,说出一系列经过裁剪、让人觉得个人相关——听起来针对你——实则统计上通用的陈述。

这类陈述有很多类型。我这里用「验证性陈述」作为所有这些策略的总称。

一些常见例子:

  • 福勒或巴纳姆陈述大概是最著名的一类,利用主观验证效应。许多这类陈述本身毫无意义,但听众仍觉得准确。比如大多数人会认为「你对自己往往很苛刻」是对自己的准确描述。
  • 消失的否定是把问题改写成包含「不」「没」等否定词。如果通灵师问「你不弹钢琴吧?」那么无论答案是什么,事后都能重新框定为准确。否定回答:「我就说嘛。」肯定回答:「我也是这么想的。」
  • 彩虹诡计是通灵师把目标同时与某个特质及其反面联系起来。「你是个非常冷静的人,但一旦被激怒,会非常愤怒。」
  • 统计猜测。像「你左腿或膝盖上有一道疤,或者曾经有」这类陈述几乎适用于所有人。掌握足够多的常见统计数据,通灵师就能说出对目标听起来极其具体的通用陈述。
  • 人口特征猜测。类似统计猜测,是对某一群体常见、但听起来对听众极其具体的陈述。
  • 不可验证的预言。像「有人对你怀有强烈恶意,但不太可能付诸行动」这类预言无法验证,但很多人会觉得是真的。
  • 散弹枪法是较常见策略之一:通灵师连发一串陈述。目标会发现其中一条准确,而由于心智运作方式,事后只记得那一条准确的。

这一过程中很重要的一点是通灵师的语气和姿态。他们必须自信,出错时迅速抛开、继续前进,还得快速读懂人的表情和肢体语言并相应调整。

6. 骗局完成

过程结束时,目标很可能记得这次读心诡异般地准确——通灵师几乎有超自然的精准——这会让他们下次再来时更加容易接受。

骗局往往在这里变得阴险:目标越配合,效应越强,而目标往往会随时间越来越配合。

而且,易感性跟智力无关。

从小被教育自己智商高的人,比从小看低自己智力的人更容易上当。主观验证是人类心智的特点。我们所有人都会中招。但如果你认为自己不太可能被骗,你会倾向于用智力去「搞明白」它是怎么发生的。这意味着你可能用相当多的创造力和智力去帮通灵师骗你,为他们的「能力」编造合理化解释。又因为你觉得不可能被骗,你还会用智力去捍卫通灵师声称的能力。聪明人(或者自认为聪明的人)可以成为最大、最肥的目标。

而那些看低自己的怀疑者更可能只是说:

「挺妙的把戏。我不知道你怎么做到的。一定很聪明。」

然后就走开了。

很多通灵师骗了自己

通灵师无意识地发展出冷读实践并不罕见。通灵师本人可能都没意识到自己的策略。

正如 Denis Dutton 所描述的:

作为一名追求科学生涯的研究生,他对占星术产生了兴趣。尽管那段时间他一直对占星术的物理基础存有疑虑,但众多满意的客户鼓励他继续——这些客户无一例外地觉得他的解读「惊人地准确」,描述了他们的个人处境和问题。直到有一天,他对一份完全算错的星盘得到了同样令人满意的反应,才慢慢开始理解自己活动的真正本质:他作为占星师的成功与占星术作为科学的有效性毫无关系。事实上,他已成为一名熟练的冷读者,在客户不断的强化下,真诚地相信占星术的力量。他当然在骗他们,但那是在自己先上钩之后。

一旦开始研究,这类例子很容易找到。机制很简单,且已融入人们对读心如何运作的预设中,所以许多通灵师意外掌握了这门本事——这意味着他们不仅骗了被读的人,也在骗自己。

这一点后面很重要。

1. 观众自我筛选 对「AI」聊天机器人持怀疑态度的人不太会使用它们。积极不怀疑聊天机器人「智能」可能性的人不会被拉进来。最活跃的观众是早期采用者、技术爱好者和真正的 AGI 信徒,他们通常更缺乏批判性、更开放。

2. 布置舞台 用户被围绕这项技术的炒作预设。聊天环境设定氛围和期望。关于「早期阶段」和「幻觉」的警告既把机器人拟人化,也为它不断出现的失败提供了现成借口。

3. 提示词确立语境 每个用户给聊天机器人一个提示,它给出回答。许多人要么接受答案,要么重复初始提示的变体以得到想要的结果。他们不会陷入效应。但有些用户开始对话,被拉了进去。

4. 目标自我测试 聊天机器人的回答听起来对当前语境极其具体,实则统计上通用。机器人背后的数学模型给出对问题的统计上说得通的回应。觉得这有说服力的目标被拉进来。

5. 主观验证循环 目标问一系列问题,所有回复听起来都像针对语境的具体理性回答,实则只是统计上可能的猜测。目标参与越多,越相信聊天机器人的智能。

6. 「哇!这个聊天机器人在思考!它有通用智能的火花!」 目标留下聊天机器人诡异接近自我意识、肯定能推理的印象。但这不过是统计和心理效应。

1. 观众自我筛选

如果你对「AI」不感兴趣,就不会用「AI」聊天机器人;就算试了,也不太会再回来。

这意味着这些聊天机器人的大量活跃用户是自我筛选出来的——对 AI 领域和通用人工智能(AGI)概念热情、开放的人——相信这些技术可能通向有自我意识、能自我改进的推理系统。

那些真正对 AGI 热情的人——相信这个领域即将发明一种新的心智——比其他人更可能热情地使用这些聊天机器人。

这与通灵师骗局的观众筛选如出一辙。相信来世、且相信生者能联系到亡灵的人,比其他人更可能去参加通灵读心。

2. 布置舞台

当前无休止的炒作环境搭好舞台,建立起至少能瞥见真正智能的期望。厂商虽然警告这些系统不是通用智能,但这些话后面总跟着隐含或明说的「还没有」。炒作强烈暗示这些是「几乎」智能,你应该能从中察觉智能的「火花」。

信徒已被预设为主观验证的候选人。

那些警告也在布置舞台中起作用。「早期阶段」意味着当人们发现回应在统计上通用的本质时,很容易当作「错误」打发掉。用「幻觉」这类拟人化概念,有助于否认统计回应与意义和事实完全脱节这一事实。AI 的炒作和神话预设观众把这些系统当作需要理解和互动的「人」,几乎必然导致主观验证。

3. 提示词确立语境

最初的提示交互是第一道过滤。多数人只是拿走第一个答案就离开,或最多重复提示变体直到得到想要的结果。这些交互纯粹是机械的。终端用户只把聊天机器人当作生成小工具,因此从不会陷入 LLMentalist 效应。

有些终端用户,通常是对「AI」前景更热情的那些,开始参与,被拉进与一个数学语言模型的「对话」。

4. 目标自我测试——主观验证启动

这段对话是第一道主要过滤。想相信的人会把自己的提示得到的回应当作既针对自己、又有智能。他们已被预设为把聊天机器人看作一个在阅读他们的文本、认真回应他们的人。但语言模型不是这样工作的。LLM 把语言中词和短语的分布建模为 token。它们的回应不过是对提示在统计上可能的延续。

你给它文本。它给你一个与训练数据集中类似文本常见回应相匹配的答案。

这已经在按通灵师骗局同一基本原理运作:LLM 并不比通灵师「读」你的心更「读」你的文本。它们基于你说的话给你统计上说得通的回应。是你在想办法把这些回应验证为针对你、针对对话主题的。

因为训练数据集极大,聊天机器人的回应会看起来极其有说服力、极其具体,尽管它们统计上通用。一旦在近二十年网络、大量盗版电子书、整个 Reddit、大部分社交媒体、以及低薪工人大量定制交互上训练过,模型几乎对你能想到的一切都有回应,或者能用它见过的某个变体。

这些初始交互可以相当有说服力,尤其如果你信「AI」,但真正起作用的是更长、重复的对话。

5. 主观验证循环——RLHF 登场

这个阶段要记得基于人类反馈的强化学习(RLHF)如何运作。

这是厂商把原始语言模型变成能对话的聊天机器人的方法。

RLHF 不允许厂商对 LLM 输出做具体修正。方法是用人类反馈对模型生成的各种文本排序,通常在其他形式的微调之后。排序后的文本用来训练一个单独的奖励模型。正是这个模型负责对 LLM 的实际强化学习。奖励模型加上对话集合的微调,把普通模型近乎失控的对话变成 ChatGPT 等系统流畅的体验。

因为反馈基于排序,很难针对具体问题。如果模型在对话中说了假话,这段对话排名更低。

这种具体性的缺失很可能意味着 RLHF 模型总体上倾向奖励听起来准确的回应。奖励模型可能只是另一个语言模型,无法基于事实或具体内容奖励,只能奖励那些语气、风格和结构与被评为准确的陈述常见的输出。

连评分本身也可疑。给 AI 厂商提供反馈的工人大多数(如果不是全部)是低薪工人,不太可能具备所评主题相关的专业知识,即便有,也未必有时间去核实所有事实。

这意味着他们几乎完全基于语气和句式对对话排序。

所以我认为 RLHF 实际上已变成一个专门优化语言模型生成验证性陈述的奖励系统:福勒陈述、散弹枪法、消失的否定、统计猜测。

在试图让 LLM 听起来更像人、更自信、更有吸引力的同时,又无法编辑输出的具体细节,AI 研究者似乎创造出了一个机械精神术士。

它不靠统计上说得通的验证性陈述假装读心,而是靠统计上说得通的验证性陈述假装阅读和理解你的文本。

验证循环可能持续一段时间,目标不断做工作说服自己语言模型有智能。时间够长,就变成对目标的一种强化学习。

6. 目标变成啦啦队

最热情相信 AI 革命即将到来的人,开始听起来和长期相信通灵和读心的人非常相似。

他们想出越来越复杂的概念和模型来解释为什么不可能的事是可能的。他们越来越轻视挑战其世界观的科学和研究领域。他们自己的措辞也变得带有敬畏和恐惧。

他们不断传教。这是真的!

通常紧接着:这很危险!

记住,当目标既聪明又想相信时,效应变得更强。主观验证基于我们心智的一般运作方式,不受你自报 IQ 影响。

如果说有影响,智能只会提高你为主观验证找理由的能力,让效应更强。当它与真正想相信骗局的愿望结合——相信我们正处于发现通用人工智能的边缘——效应一旦扎根就会变得不可抗拒且强大。

这就是为什么你不能靠用户报告发现这些问题。相信通灵师的人通常只会说通灵师好话,哪怕正在被骗。相信我们即将造出 AGI 的人,也只会支持这一信念的聊天机器人说好话。

很容易上钩

上这种统计幻觉的钩很容易。这跟你的智力甚至轻信都无关。是你的大脑在跟你作对。多数时候对话是协作性、个人性的,所以你的心智被优化为在这种情境下从所说内容中寻找意义。如果你还想要相信——无论相信通灵师还是 AGI——你的心智会帮忙找到相信对话的理由。

一旦你陷得太深,做了媒体巡演、以公众人物身份承诺了这个想法,再想摆脱「我们已有原始 AGI」的信念就不可能了。就像一个科学家公开表示相信某位通灵师,他们的自我形象与对通灵师的信念交织在一起。任何对这一现象的否定都会让他们觉得是人身攻击。

通灵师的骗局是多年来极其成功地欺骗他人的机制。它有效。

最好的防御是像对一次有说服力的通灵读心那样回应:「挺妙的把戏,我倒想知道他们怎么做到的。」

好了,现在你知道了。

一旦你意识到自己心智运作的易错性,就应更容易发现它何时被利用,无论有意还是无意。

这引出一个重要问题。

这是故意的吗?

考虑到科技行业牵涉数十亿美元,很容易假设智能的统计幻觉是科技行业有意创造的。

我个人认为这极其不可能。

对政府阴谋论的常见回应是,政府机构其实并不擅长保密。

而科技行业就是不擅长做软件。说实话,这个幻觉太巧妙,不可能是制造它的人有意造出来的。

AI 研究领域以忽视其他领域的价值闻名,所以我确信这次通灵师骗局的再实现完全是意外。很可能因为不了解心理学中关于认知偏差的大量研究,或通灵师骗局的运作方式,他们撞上了一个机制,造出了把许多聊天机器人制造者自己也骗了的聊天机器人。

记得我上面写的通灵师经常骗了自己,很多人甚至没意识到自己的骗局吗?

这里也一样。我认为这是一个不知道自己在做什么的行业,现在也不知道自己做了什么。

这就是为什么那么多技术人彻底相信他们创造了真正通用人工智能的第一颗火花。

这个技术新时代似乎建立在迷信和伪科学之上

一旦我开始研究 LLM 交互是通灵师骗局变体的可能性,我就在「AI」领域到处看到相似之处。

  • 把语言模型接到核磁共振上,声称能读心。
  • 声称能根据面部表情和步态辨别犯罪倾向。
  • 提出健康问题的神奇解决方案。
  • 字面意义上的未来预测。
  • 声称能辨别潜在员工的诚实度。

这些都是被提出的「AI」系统应用,但也都常见于通灵骗局。读心、协助警方、信仰疗法、预言,甚至通灵式员工审查,全都直接出自精神术士的剧本。

尽管我毫不怀疑这些努力的真诚,但越来越明显的是,科技行业已把自己整体交给了迷信和伪科学。他们一直无视其他领域发出的警告和本阵营批评者的担忧。

大语言模型没有功能或特性来弥补这波迷信。

  • 「幻觉」是 LLM 运作方式中根深蒂固的普遍缺陷。
  • 摘要容易出错,且容易对被摘要的文本过度概括。
  • 它们的「推理」是统计幻觉。
  • 它们在自然语言处理任务上的表现只略好于更小的语言模型。
  • 它们倾向于记忆和复制文本而不注明出处。

综合来看,这些缺陷让 LLM 看起来不太像信息技术,更像现代机械化的通灵热线。

把决策、排名、评估、战略、分析或任何其他形式的推理委托给聊天机器人,在功能上等同于打电话给通灵师求建议。

想象谷歌或某大科技公司试图靠在前台加一条通灵热线来修复搜索引擎?Bard 就是这么做的。

——「我们的大学生完全看不懂我们的网站。来加条通灵热线!」

——「我们要改善客服门户。来加条通灵热线!」

——「我们在你浏览器里加了通灵热线按钮!不,你删不掉。不客气!」

——「看不懂我们的技术文档?请咨询我们炫酷的新通灵热线!」

AI 泡沫会很难熬。

更多关于「AI」

我花过一些时间写语言模型和生成式「AI」的诸多缺陷。

  • 我写过语言模型是寻求新奇产业中的后视工具,以及为什么我认为用语言模型编程是个坏主意。
  • 「AI」摘要在本质上就不可靠。
  • 它们走捷径的倾向使其在医疗领域很危险。
  • 大多数表明「AI」有生产力收益的研究充其量有缺陷,往坏了说完全脱离现代办公工作的现实。
  • AI 厂商有伪科学和蛇油的历史。
  • 即便你认为语言模型无法根除的「幻觉」倾向不足以取消它替代搜索引擎的资格,语言模型遭受的众多安全问题也足以取消。「写提示词;拿输出」的模式本质上不安全。 这些系统还易受一种关键词操纵攻击,且无法防范。

我得出结论,语言模型几乎总是错误的工具。

我强烈建议不要把 LLM 或聊天机器人整合进你的产品、网站或组织流程。

如果你确实不得不使用生成式 AI——无论是上级命令还是其他要求——我写了一本专门讲工作中使用生成式「AI」问题的书:

《智能幻觉:生成式 AI 商业风险的实用指南》。

EPUB 和 PDF 只要 35 美元,仅为十二个月 ChatGPT Plus 费用 240 美元的 15%。

但再说一次,我更希望你干脆避免使用语言模型,省下电子书和 ChatGPT 订阅的钱。

通灵师骗局参考

  • 冷读(维基百科)
  • 如何成为通灵师并冷读他人
  • 冷读简明入门
  • 冷读(Rational Wiki)
  • 通灵师骗人的 7 个把戏,人人都该知道
  • 你该相信通灵师吗?心理学和逻辑联手揭穿通灵师(《今日心理学》)
  • 动机性推理(维基百科)
  • 冷读:我如何让别人相信我有通灵能力
  • 冷读(怀疑论者词典)
  • 主观验证(怀疑论者词典)
  • 主观验证(维基百科)
  • 巧合:非凡还是随机?
  • 通灵体验:通灵幻觉
  • 冷读指南
  • 冷读技巧
  • 福勒效应(怀疑论者词典)
  • 通灵行业的把戏(《今日心理学》)
  • 通灵诈骗
  • 通灵师的十个把戏,我打赌你不知道(第六个你会不信!)

我们尊重你的隐私。

随时可退订。

评论

多数读者指出这篇2023年的文章混淆机制与功能、立场已过时,少数人强调应警惕将语言模型神化如同通灵骗术;分歧主轴围绕“大模型是否可视为智能”展开,且有人戏谑预期评论区将充满“受伤的令牌”(@superposition)。

认为文章写于2023年,其否定大模型的立场应更新

  • 多位读者注意到原文发布于2023年7月,当时能力认知与今日迥异,好奇作者是否改变了看法(较多人) > 编辑:哦,写于2023年,我想知道作者是否更新了态度(@daishi55)

认为大模型在功能上就是智能,纠结机制是本末倒置

  • 论证人工智能看功能而非生物机制,图灵测试通过后是否真智能不再重要;实用输出如验证数学证明即非骗术(高赞/较多人) > 若某物在功能上作为智能运作,在我看来它就是智能,至少当讨论的是人工智能时(@mindcrime)

认为大模型的智能是用户错觉,能力源自人类数据重组

  • 智能错觉存在于使用者心中,模型只是重组人类语言,并不自有代理性;它善于让人误以为具备实际能力(较多人) > 智能的错觉存在于用户心中,而不在模型本身(@scotty79)

认为文章用通灵类比大模型是构建稻草人且偏离重点

  • 反对者建稻草人只让拥护者更合理,原文反复以人脑机制缺失否认证实智能,忽略模型响应本身可解释行为(较多人) > 语言模型如任何其他模型一样响应输入,这足以解释所有“智能”,无需相信它是新心智(@vhantz)

呼吁警惕AI厂商宣传,别像迷信通灵那样盲目崇拜模型

  • 人类易陷入骗局,应对闭源前沿模型的夸张宣称保持怀疑,论坛中过度推崇现象值得反思(较多人) > 我们都认识被诈骗的人,却对自己易陷入类似骗局视而不见(@krupan)

智能与意识缺乏统一定义,工具与智能代理的张力无解

  • 因无好的智能或意识定义,争论原地打转;同一批人既说模型“只是工具”又承认其解难题,显逻辑张力(较多人) > 这些问题永远不会进展,因为没有智能或意识的好定义(@tock)

有价值的补充

  • 人脑方向性上也是神经网络,发现脑只是神经网络会让有些人不安,但认知本是生物计算,无神学冲突(@rayiner)
  • 只关注下一令牌预测忽略了强化学习训练,使问题比文中描绘的更模糊(@kraf)
  • 将大模型视为有损知识搜索引擎有助于剥离认知错觉,但链式调用开始像智能(@draftpunked)
  • 词源上“推理”源于“计算”,大模型通过计算得到答案故可说在推理(@NinjaTrance)