Hacker News 中文摘要

RSS订阅

The gap in shared understanding of LLM capability is widening

翻出四月那条推文,人们对大型语言模型(LLM)能力的理解差距正在拉大,如今更像陡峭漏斗。约60亿人(约75%)几乎没接触过LLM;约10到20亿人(约20%)只是免费版类ChatGPT产品低频用户,把它当更好的谷歌搜索(Google Search)或写作辅助。专业用前沿级LLM做数学和代码的大约2000万人(0.2%),他们看到原本要几周或几个月的项目,如今给智能体(agent)一个提示就能完成。不到一年前,我还在手动逐字敲代码。

正文

翻出4月的这条推文,是因为大家对LLM能力的共同理解之间的这道鸿沟正在扩大。现在的状况已经不那么像“两拨人各说各话”,而更像一个陡峭的漏斗。

图片

  • 粗略估算,大约60亿人(约占人口的75%)几乎从未接触过LLM。
  • 大约10亿到20亿人(约20%)是免费版ChatGPT类产品的随意、低频用户。这群人看到的是笨拙的聊天机器人,把它当成更好的谷歌搜索、写作辅助之类的工具,也许还有智能体试着帮你订机票。我有一些非技术圈的朋友(我觉得挺合理)说根本用不上它。甚至很多数学和代码以外的专业人士也处在这一层。比如高管和其他许多岗位的人,大量时间都在和人交谈,所以尽管他们理智上明白正在发生什么,这种认知仍然是二手的、有点抽象。
  • 接下来是数学和代码领域对前沿级LLM的专业使用。大约2000万人(0.2%)亲眼看到,过去要花几周或几个月的大型复杂项目,现在只需一个提示就能由智能体完成。建应用、抄应用、翻译应用、从二进制反编译应用……这一切发生得非常快,也就是最近的事——不到一年前,我还在一个字一个字地手动写代码,把记住的计算机代码命令敲进代码编辑器,偶尔按Tab键自动补一小段代码。
  • 最后是大约5000人(约0.00006%),他们能在内部使用前沿级系统。外界看到的只是预告。内部看起来是成千上万个智能体组成的集群,在软件巨型项目上协作数周:挖掘零日漏洞,以机器速度发起网络攻击与防御,发现新科学,推进数学前沿。这些事过去要让行业顶尖专家花上数年才能完成。与此同时,人类的审阅和理解开始跟不上。比如,人们还在“考古”好几个月前的OpenAI-HF事件。数学家可能还得花一段时间研读那722篇前沿数学手稿。

这个漏斗由几个因素共同驱动:

  1. 影响随野心、问题规模和周期长度而放大。一个只需一段话回答的问题几乎不会让系统感到压力。你需要一批你真正关心的大难题储备。这一因素驱动了漏斗中消费者与专业用户这一维度。
  2. 系统的锯齿状能力(我另外写过很多)。能力在数字化、可验证且有经济价值的领域达到顶峰。这是因为LLM的能力来自在可验证奖励上做强化学习,而训练环境混合由收入潜力驱动、经过精心挑选。这一因素主要驱动了漏斗中的领域(比如数学和代码)维度。
  3. 访问权限。免费版、付费版、内部版。

所以这就是当下奇怪的地方。公众大多还没接触过这些系统;就算接触过,看到的也像个笨拙的聊天机器人。大多数专业人士仍然只看到有限的提升。而一小部分专业人士正在体验曲线垂直上升带来的眩晕。这一切又是在同时发生的。

Andrej Karpathy(@karpathy)4月9日:依我的时间线来看,外界对AI能力的理解正在出现越来越大的差距。我认为第一个问题在于使用时间和层级。很多人去年某个时候试用了ChatGPT的免费版,并让这种体验过多地影响了他们对AI的看法。这是

评论

讨论整体以怀疑和讽刺为主:多数人认为 Karpathy 描述的“极少数人看到能力曲线陡增、复杂项目被提示词完成”被演示和营销夸大,真正的短板是人类验证产出能力与普通人根本没有强需求。少数人承认在专业开发者、尤其是接上终端的代理工作流中确实获得了有限提升,或相信当前虽被高估、未来仍会兑现。

认为“模型已能自动完成复杂项目”的说法严重夸张

  • 所谓约 2000 万人亲眼看到复杂项目被提示词完成,并不被多数开发者认同。代理真正能交付的场景只集中在代码移植、翻译这类“代码本身就是规格说明且能靠执行结果自我验证”的窄场景;开放信息问答不可信,需要真正设计的软件更不可能靠一个提示词完成过去数周、数月的大项目。即便补充详细规格,仍会出现边界情况、架构失误、性能问题和重复代码,若要长期维护就不能“提示后放任不管”。(较多人) > 即便给出了完整规格,模型也从没交付过我认为算成品的东西,提示后放任自流不是生产持久软件的方式(@rbehrends)

认为人类审核与理解能力才是真正的“墙”

  • 模型产出速度已经超过人类复核能力:代码审查在很多地方沦为形式,安全、恶意注入等严肃问题被无关团队草草放过,退回的缺陷报告甚至带着典型的 Claude 腔。只要前沿能力持续跑在人类理解前面,大模型就会被误认为更有价值,泡沫得以延续;若人类始终跟不上,可能因质量下降或责任风险而破裂,因此亟需监管。(较多人) > 真正的墙不是模型,而是人类验证产出的能力,代码审查已经沦为闹剧(@ashleyn)
  • 也有人把这形容成“庞氏”式的预期循环:能力演示不断从深度学习、GPT、编程转移到数学和网络安全,只要尘埃还没落定,缺陷和失望就不会被认真反思,大家只能继续盯着演示看(较多人)

认为对多数人来说模型能力已经过剩,且并未改善真实生活

  • 免费层模型的能力已超过多数人能欣赏或需要的水平,普通人没有必须依赖大模型的场景;它们比人类更不可靠、也难以被追责,不能真正替代人,每月花 200 美元对多数人不值。普通人的生活也并未因此改善:车、洗碗机、火车、物价、房租、医疗、环境等依旧如常甚至更糟,而行业却在大量生产没人用的软件、解决没人想要的数学问题。我们大概在一年半到两年前就达到了普通人在现实中所需要的“大模型峰值”,即便造出超人 AGI,除了军事等用途也可能没有真实用处。(较多人) > 我们大概在一年半到两年前就达到了普通人在现实中所需要的“大模型峰值”,多数人并没有特别需求,也不值得为此付费(@socializer)
  • 一条讽刺性总结把历次技术炒作串成年份梗:2015 年说解决了出租车就能改变世界,之后是货币、半小时配送、JPEG,到 2024 年变成“解决程序员的编程环节”;暗示每一轮都在重复同样的夸大叙事(较多人)

认为“内部还有更强模型或智能体集群”的说法更像营销或借口

  • 如果内部模型真的在内部强得多,公开演示就不该这么拉胯;以当前上下文长度限制,数千个智能体协作数周做超大软件项目缺乏可解释性,在网络安全攻防上大模型也远不如几十年前的 WannaCry、Splunk 类自动化。把“内部有不能给你看的好东西”讲出来,本质上更像是在要更多钱。(较多人) > 更讽刺的解读是:这是在说“相信我们,内部有很好的东西,只是不能给你看”,然后继续要钱(@variety8675)

认为至少对专业开发者和终端工作流,模型是显著的加速器

  • 给大模型接上终端、命令行和可执行环境后,程序员会觉得它聪明很多;用对话拆解需求、再让子代理分批实现若干提交,对移植、翻译或有明确验证标准的工作帮助很大。普通用户仍停留在 ChatGPT 式聊天,感觉不到提升,这加剧了技术圈与普通用户的体感分裂。(少数人) > 给大模型接上终端和命令行后,程序员会觉得它聪明了百倍,而普通用户用的聊天产品似乎已经停滞(@theturtletalks)
  • 因此更合适的表述是:这是很棒的开发者加速器,而不是“改变所有人、所有地方”的通用智能;非技术人群的冷淡不是因为不懂,而是没有实际需求,就像不是每个人都需要电子显微镜。(少数人)

认为技术爱好者误把“自己关心的能力”当成普遍需求

  • 软件开发者、数学等极客因为模型擅长他们在意的任务,就假定未来会广泛适用,但这并没有依据;真正需要被撬动的是机器人、制造等实际经济领域,而不是烧词元、给 NVIDIA 送钱的软件系统。若只围着极客关心的评测基准转,就算能力曲线变陡,也可能只是通向非实用的金钱黑洞。(少数人) > 极客看到大模型擅长自己关心的事,就假定它将来会广泛适用,其实没有理由这么认为(@ilovecake1984)

有价值的补充

  • 代理在“有代码即规范、可自我验证”的移植和翻译场景表现较好,而在开放问答里表现差且不可信;这解释了为什么演示看起来厉害却难以泛化。
  • 有评论推演:若想让大模型对大众真正“非常有用”,词元量需多个数量级增长,而广泛采用又要求词元成本同数量级下降;那么在普通人拿到强力工具前,现有 GPU 可能先变得不值钱。
  • 上下文长度限制与工具稳定性,使得“数千智能体协作数周做超大软件项目”难以成立;有评论直言自己甚至不敢追问细节,怕被 AI 拥护者反驳。
  • 关于“撞墙”的讨论被补充:LeCun 认为基于大模型的路线可能遇到人类仍具优势的墙;Terry Tao 网站文章也认为当前结果仍处在训练数据的“凸包”内,并没有证据表明必然起飞或递归自我改进。
  • 网络安全方面,大模型的攻防速度远低于 WannaCry 或 Splunk 等数十年前的自动化工具,并不像宣传中那样以机器速度碾压。