文章摘要
AI发展受阻的核心问题在于其“自信的错误”，即AI在错误时仍表现出高度自信。这种现象导致验证成本增加、信任度下降、改进动力不足，最终影响AI的广泛应用和进一步发展。尽管AI在某些任务上达到90%的准确率，但错误率仍然较高，限制了其实际价值。
文章总结
标题：AI的“自信错误”正在阻碍其发展
主要内容：
在本文中，作者基于近期向财富500强企业和硅谷科技公司销售高额AI项目的经验，探讨了“自信错误”如何成为AI发展的核心问题。AI系统在提供错误答案时表现得过于自信，导致了一系列深层次的问题。
问题分析：
验证成本高昂：由于无法预测AI何时会出错，用户不得不对每个回答进行详细检查，导致时间成本大幅增加，投资回报率（ROI）下降。
信任不对称侵蚀：在关键任务中，一次高置信度的错误比十次成功的代价更大，用户会因此回归传统的工作流程。
隐藏的失败模式：缺乏高质量的不确定性信息，用户无法判断错误是由于模糊性、缺失上下文、过时数据还是模型错误，从而缺乏改进的动力。
错误累积导致失败：即使AI的准确率达到90%，在复杂的多步骤工作流程中，错误会迅速累积，导致大多数工作流程中出现错误。
解决方案：
准确性飞轮：AI系统应能够以具体和自然的方式向用户传达其不确定性。通过用户反馈，系统可以逐步改进，提高准确性。
增加AI采用率：如果AI系统能够告知用户其不确定的原因，用户可以帮助系统变得更好，从而推动AI的广泛应用。
诊断AI投资的快速指南：
在投资新的AI项目前，应考虑以下问题： - AI系统是否会告知其不确定性及其原因？ - 系统是否能够从用户的纠正中学习，避免重复错误？
解决方案原则：
生成领域特定的计划：AI系统应生成特定领域的计划，而非直接生成答案，确保计划能够编译为确定性操作，并进行运行时验证和策略检查。
持续专业化：通过持续将AI模型与领域本体、实体目录、数据系统绑定，学习命名冲突和边缘案例，理解领域含义，从而提高计划的准确性和置信度。
结论：
解决AI的“自信错误”问题，将有助于推动AI在现实世界中的应用，使其成为真正可用的企业级系统。
联系方式：
如果您负责数据或AI项目，并希望交流经验，请联系tanmai@promptql.io。
评论总结
评论主要围绕大型语言模型（LLMs）的局限性和问题展开，以下是主要观点和论据的总结：
LLMs的自信错误问题：
- 许多评论指出，LLMs经常“自信地”给出错误答案，且缺乏自我纠正的能力。例如，lucideer提到：“AI应该被训练成自信且固执地错误（或正确）”，而roxolotl则认为：“赋予LLMs信心是一种拟人化的错误”。
- 引用：
- lucideer: "AI should at least be trained to be confidently & stubbornly wrong (or right)."
- roxolotl: "Ascribing confidence to it is an anthropomorphizing mistake."
LLMs的局限性：
- 评论普遍认为LLMs缺乏对世界的理解，无法判断其输出的真实性。NoGravitas指出：“LLMs不是世界模型，也没有世界模型”，而squigz则强调：“直到LLMs能够回答‘我不知道’，它们的用处将受到限制”。
- 引用：
- NoGravitas: "LLMS are not world models, and do not have world models."
- squigz: "Until an LLM can determine and respond with 'I do not know that', their usefulness will be limited."
LLMs的过度炒作：
- 一些评论认为LLMs被过度炒作，实际能力有限。paul7986表示：“ChatGPT（5）尚未达到取代我的领域和技能的水平”，而dgfitz则认为：“LLMs被称为AI是2020年代最大的营销伎俩”。
- 引用：
- paul7986: "chatGPT (5) is not there especially in replacing my field and skills."
- dgfitz: "The part where people call it AI is one of the greatest marketing tricks of the 2020s."
LLMs的改进方向：
- 部分评论提出了改进LLMs的建议，如增加自我验证机制。giancarlostoro建议：“为什么LLMs不通过新的上下文窗口来验证自己是否回答了问题？”而esafak则提到：“贝叶斯模型可以解决这个问题，但会占用模型容量”。
- 引用：
- giancarlostoro: "Why don’t LLMs just vet themselves with a new context window to see if they actually answered the question?"
- esafak: "Bayesian models solve this problem but they occupy model capacity."
LLMs的实用性与局限性：
- 评论指出LLMs在某些领域（如代码生成）表现较好，但在其他领域（如逻辑推理）则表现不佳。jqpabc123将LLMs比作“白痴天才”，而CloseChoice则强调：“LLMs主要用于开发者，他们不断监督LLM的输出”。
- 引用：
- jqpabc123: "This is the best available diagnosis of an LLM. It excels at recall and text generation but fails in many (if not most) other cognitive areas."
- CloseChoice: "LLMs are largely used by developers, who supervise what the LLM does constantly."
总结：评论普遍认为LLMs存在自信错误、缺乏世界模型、被过度炒作等问题，尽管在某些领域表现良好，但其局限性和改进空间仍然显著。