大型语言模型会放大用户的达克效应，让用户对错误信息产生确信感。尽管意识到这种认知偏差，人们仍沉迷于模型带来的虚假确定感。虽然AI工具确实实用，但其心理影响令人担忧——它像镜子一样放大了人类的思维缺陷。

标题：大语言模型是达克效应的"兴奋剂"

伯特兰·罗素在1933年的文章《愚蠢的胜利》中指出："这个世界的问题在于，愚蠢的人总是充满自信，而聪明的人却充满怀疑。"每当我使用ChatGPT时，它总会对我那些并不高明的想法说"这是个绝妙的主意"，这让我不禁思考：有多少ChatGPT用户会带着错误却坚定的认知离开？

作为使用者，我发现自己经常陷入一种虚假的确定性中。与语言模型讨论后，我总觉得自己掌握了某些知识——甚至可能是很多知识。但事实上，这些信息往往存在偏差或完全错误。最可怕的是，即便意识到这种错觉，我仍会沉迷于模型带来的那种确信感。这种心理效应令人担忧。

AI就像一面镜子，它能放大我们的思维。语言模型通过多角度延伸我们的想法，有时确实能产生有趣的见解。但另一方面，它们也能完美地为错误认知披上流畅权威的外衣，制造精妙包装的心理陷阱。

这种依赖已经形成习惯！如今构思想法时，我会不假思索地与语言模型对话。有次寻找丢失的包时，我第一反应竟是"应该问问ChatGPT它在哪里"——这种依赖已经到了可笑的程度。

从技术角度看，大语言模型其实相当平庸：它们本质上是随机的黑箱，训练过程也只是常规的统计推断。真正的"创新"可能只是投入巨资进行大规模训练。但当前AI热潮的有趣之处在于其深远影响——这将是涉及教育、工作乃至整个社会的重大变革。当机器能够可信地介入语言领域时，某些根本性的改变正在发生。

我认为，与其将大语言模型视为知识引擎，不如称之为"信心引擎"。这种定位更能帮助我们理解即将面临的近中期未来。

（作者：马蒂亚斯·海基莱 图片略 联系方式略）

评论总结

1. LLM的本质与作用

• 观点1：LLM应被视为“信心引擎”而非“知识引擎”，适度的自信有助于推动行动。
  • 引用：“LLMs should not be seen as knowledge engines but as confidence engines.”
  • 引用：“intelligent people tend to underestimate the importance of doing stuff with confidence.”
• 观点2：LLM是无聊的技术，本质上是统计推断的黑箱。
  • 引用：“LLMs are a fairly boring technology. They are stochastic black boxes.”
  • 引用：“The training is essentially run-of-the-mill statistical inference.”

2. 用户对LLM的信任与怀疑

• 观点1：使用LLM会降低用户对知识的信心，因其可靠性存疑。
  • 引用：“Whenever I use an LLM I feel dumber, not smarter.”
  • 引用：“my mind treats the LLMs as a less reliable averaging of sources.”
• 观点2：LLM会增强用户的错误确信，尤其是对缺乏专业知识的人。
  • 引用：“ChatGPT users can walk away not just misinformed, but misinformed with conviction.”
  • 引用：“it would become harder to spot a hidden failure in a more information-dense LLM’s answer.”

3. Dunning-Kruger效应的争议

• 观点1：文章标题误用了Dunning-Kruger效应，混淆了“过度自信”与“元认知缺失”。
  • 引用：“This is not what the Dunning-Kruger effect is. It’s lacking metacognitive ability.”
  • 引用：“Overconfidence resulting from ignorance isn’t the same thing.”
• 观点2：Dunning-Kruger效应可能不存在，仅是统计假象。
  • 引用：“the Dunning-Kruger effect is probably not real.”
  • 引用：“it probably needs more and better studies.”

4. LLM的实际应用与局限性

• 观点1：LLM在代码生成等任务中需严格审核，但能补充开发者疏漏。
  • 引用：“You have to carefully review and audit every line that comes out of an LLM.”
  • 引用：“It’ll be missing a few edge cases the LLM thought of that I didn’t.”
• 观点2：LLM的权威模拟特性易引发盲目信任。
  • 引用：“LLMs are ‘authority simulators’… the simulation of authority is comforting.”
  • 引用：“it’s really easy to feel like you’re talking to an authority.”

5. 对LLM未来的分歧

• 观点1：LLM的潜力被低估，其能力随数据量和算力提升而增强。
  • 引用：“Quantity has a quality of its own… LLMs are literally just matmul.”
  • 引用：“How can anything intelligent emerge from a wet mass of brain cells?”
• 观点2：LLM加剧了错误信息的传播广度与深度。
  • 引用：“Its reach… more people are misusing it.”
  • 引用：“it has already become pretty easy for LLMs to produce a sophisticated but wrong answer.”

6. 其他争议

• 观点：LLM的误导性可能被夸大，实际表现更倾向提供 nuanced 回答。
  • 引用：“it can play both sides and gives nuance… it won’t leave you feeling like you are right.”
  • 引用：“any examples of it taking a clearly wrong idea and making it look good?”