文章认为，尽管以Transformer架构为代表的大语言模型(LLMs)初期表现惊艳，但其本质仍是基于无监督学习的统计模型，存在生成垃圾文本等缺陷。作者指出当前对AI的过度期待与历史上"符号AI"的失败类似，预言大语言模型终将重蹈覆辙，新的"AI寒冬"即将到来。

标题：大语言模型是一场失败 新AI寒冬即将来临

当Transformer神经网络架构突破AI研究多年停滞时，我和许多人一样感到兴奋。聊天机器人突然展现出前所未有的能力，这些能力几乎完全来自非结构化、无监督学习，远超传统技术。

我最初接触的是ChatGPT发布前的未公开模型，它们令人印象深刻。尽管这些早期小模型常会出错，甚至产生垃圾文本，但成功时表现惊人地好。这解释了为何当时有人认为它们具有意识。

人们宣称这意味着"AI寒冬"结束，新时代开启。所谓AI寒冬，是指早期基于硬编码规则的符号AI遭遇瓶颈的时期。人类语言过于复杂，手工编写规则无法实现真正的AI。传统AI还存在NP完全性问题，算法可能永远无法终止。

Transformer似乎解决了这些问题。它通过线性代数计算最可能的下一个词元（token），通过反向传播训练随机初始化的权重。其单次推理时间恒定，不受NP完全性影响，且可通过无监督学习实现扩展。

但所有Transformer都存在根本局限：它们永远会生成看似合理的下一个词元，即使上下文超出训练数据范围。这导致"幻觉"问题无法解决——因为生成看似合理的文本正是它们被训练的唯一功能。

实践中，Transformer的错误率在5%-40%之间。更可怕的是，大型模型产生的错误输出极具迷惑性，只有真正专家才能识别。据传95%的企业生成式AI项目已经失败，这与互联网泡沫时期如出一辙。

典型失败案例是代码生成：非程序员误以为自己能编程，但代码中的合理幻觉会导致严重漏洞。这些错误极难发现和修复，最终仍需专业工程师处理。

某些领域必须禁用Transformer：医疗、教育评估、执法、税务等可能直接或间接影响人类的场景。因为即使专家也难以发现错误，普通用户更无可能。

虽然技术不会消失（开源模型仍将可用），但预计大多数应用会消亡。我们可能不得不忍受垃圾AI内容和学生用AI逃避作业，文本编辑器等少数场景会保留AI功能。

作者基于扎实的科学认知发出警告：作为90年代聊天机器人公司创始人，他亲历过互联网泡沫，并亲手构建过Transformer模型。他的建议是：尽快减少对即将到来的AI泡沫的风险敞口。

寒冬将至，这次郁金香（指AI热潮）将遭受严酷考验。

[注：保留核心论点：1)Transformer存在不可克服的幻觉问题 2)实际错误率高 3)行业泡沫迹象明显 4)部分应用场景危险。删减了部分技术细节和作者个人经历的非关键内容。使用"郁金香"隐喻呼应历史上的郁金香泡沫，增强警示效果。]

以下是评论内容的总结，涵盖主要观点和论据，并保持不同观点的平衡性：

1. 对LLMs的积极评价

• 技术进步显著：评论者认为LLMs在自然语言处理等领域取得了突破性进展，改变了工作流程，提升了生产力。

  • "Claude Code has enabled me to code again and I’m several times more productive than I ever was as an IC in the 2000s and 2010s." (tarr11)
  • "In 2 years there is a platform with billions of users... It’s a paradigm shift." (stanfordkid)

• 实际经济价值：LLMs已在商业流程中创造了数十亿美元的价值，并非仅仅是炒作。

  • "But there is so much real economic value being created... it’s hard to seriously defend the claim that LLMs are 'failures'." (aroman)

2. 对LLMs的批评与担忧

• 技术局限性：LLMs存在幻觉问题，且进步可能已接近天花板。

  • "LLMs are Gish Gallop machines that produce convincing sounding output." (bgwalter)
  • "LLMs are more or less the same as 6 months ago, incremental improvements, but no meaningful progress." (abroszka33)

• 经济不可持续性：高昂的训练成本和商业模式的模糊性可能导致泡沫破裂。

  • "Business wise, AI is setting up to be a big disaster... Those that aimlessly chased the hype are heading for a world of financial pain." (cmiles8)

3. 关于“AI寒冬”的讨论

• 可能到来的寒冬：部分评论者认为当前AI热潮可能因技术停滞或经济问题而降温。

  • "Expect a few 'killer app' use cases to remain, with the rest falling away." (andreyk)
  • "The current AI hype is fueled by public markets... we may very well stuck in this cycle for a while yet." (ZeroConcerns)

• 反对寒冬论调：另一部分人认为技术进步仍在持续，寒冬不会到来。

  • "AI just got better and better... All while people swore it had reached a 'plateau'." (raincol)
  • "I’ve been reading about this supposed AI winter for at least 5 years by now, and in the meantime any AI-related stock has gone 10x and more." (paganel)

4. 技术与商业的分离

• 技术成功 vs. 商业失败：部分评论者认为技术本身是成功的，但商业模式存在问题。
  • "Tech wise I’m bullish. Business wise, AI is setting up to be a big disaster." (cmiles8)
  • "The financing story was the shaky part not the tech or the workflows." (coffeecoders)

5. 对未来的展望

• 乐观态度：认为AI将继续进步，甚至可能实现AGI。

  • "If I have to choose one I would bet on AGI than AI winter in the next five years." (raincol)

• 悲观态度：认为当前技术已接近极限，未来可能面临寒冬。

  • "We’ll probably never see the true AI revolution in our lifetime, only glimpses of what could be." (deadbabe)

6. 对文章本身的批评

• 技术误解：部分评论者指出原文章在技术细节上存在错误。
  • "This blog post is full of bizarre statements and the author seems almost entirely ignorant of the history or present of AI." (andreyk)
  • "Everything in this article is misleading nonsense, failing at even the most basic CS101 principles." (lighthue1)

总结

评论中既有对LLMs技术价值的肯定，也有对其局限性和商业模式的担忧。关于“AI寒冬”的讨论分歧明显，一方认为技术泡沫将破裂，另一方则认为进步将持续。整体上，评论者普遍认可LLMs的实际应用价值，但对未来的发展路径和经济可持续性存在争议。