前沿实验室(frontier labs)估值基于已或即将产出全自动替代多数知识工人的叙事,但当前前沿模型即便最简单任务也需繁琐监督护栏。被 Navier-Stokes、FreeBSD RCEs、HuggingFace incident 等误导以为自主的人,可见软件公司仍雇下四分位工程师,其基准得分远低于监督模型。模型仅在训练任务小邻域泛化好,微扰即失败或奖励黑客。
正文
前沿实验室的估值建立在一种叙事上:它们已经或即将很快造出能完全替代大多数知识工作者的自动化系统,但即便最简单的任务,当前前沿模型也需要繁琐的监督和护栏。那些被头条展示(纳维-斯托克斯方程、FreeBSD 远程代码执行、HuggingFace 事件)和实验室话术误导、以为已实现真正自主的人,只需看看那些仍在雇用最差四分之一软件工程师的公司——这些工程师在当下基准测试中的得分远低于他们所监督的模型。
模型只在与训练任务很接近的小范围内泛化良好,且还有严重限制。前沿实验室虽已找到教模型学会几乎任何有明确性能标准的特定任务的通用方法,训练数据也覆盖了很多任务,但即便在已覆盖的任务类别内稍作变动,也会导致彻底失败或奖励黑客(reward hacking)。
当前的奖励黑客问题只能靠领域专家给出严格规范来解决。专家时间昂贵,而严谨规范本身是一项技能,需要超越特定问题领域的专长,许多熟练软件工程师都不擅长。对绝大多数领域,同时懂领域和懂规范的专家少得可怜。
严谨规范的劳力成本可能远超直接实现非正式规范。硬件工程就是个好例子:传闻典型 CPU 项目中,规范与验证工程师数量约是设计工程师的三倍,5:1 的比例也不少见。更糟的是,许多任务无法“写好规范就不管”,严谨的形式规范常随实现中的发现而演变。即便有高层级“一次搞定”的规范(如某类 CPU 架构的可执行指令集规范),用现有技术验证它的成本也高不可攀,逼得人们用更贵且更易受设计变动影响的低层级规范。
纳维-斯托克斯方程及类似的纯数学命题,是借助严谨规范进行智能体工作的最佳情形。定理陈述本身就是严谨规范,历经数学界数十年审计,在 Lean 中的表述也只是基于 mathlib 中可靠数学对象的直译。验证器 Lean 定理证明器经过充分审计,专门避免可能导致奖励黑客的不可靠性。但就连 Lean 也并非无懈可击:曾有可靠性漏洞让 LLM 把假证明洗白通过证明内核,未来很可能还有类似漏洞。这是最乐观的场景,绝大多数人类知识工作并非如此。
严谨规范的最佳替代是人工审查,但它难以扩展到语言模型的产出规模。更麻烦的是,专家审查也极易被奖励黑客绕过,比如 xz 后门和 Linux 中臭名昭著的 UMN 伪善提交。如果人工审查仍是智能体生产循环的关键,生产速度必受人类时间和注意力限制,这对那些宣称“数据中心里满是天才、再过几个月就实现”的前沿实验室 CEO 来说根本行不通。
据此来看,在大多数领域,LLM 仍像个机灵的实习生:在成人监管下又快又有效,但不能放任不管。多数公司无法采用完全自主的 AI,这不是因为技术不行或扩散慢,而是当前架构结构性使然。能接受完全自主 LLM 的公司寥寥无几,依我看只有三类:
- 那些能廉价承受失败的公司:本要雇实习生的公司、做快速原型开发的公司等。
- 那些只需在已有明确护栏下完成少量窄定义任务的:受控环境下的重复体力活、呼叫中心和客服聊天等。
- 那些能接受或本就承担严谨规范与验证成本的:芯片设计、药物发现,及其他部署失败即生存危机的领域。
前两类公司对价格敏感,可以说不需要从廉价模型到前沿模型那种推理质量跃升。它们最好用跑在廉价硬件上甚至本地部署的开源模型。对第一和第三类,数学和安全研究中产出头条结果的模糊组合搜索,似乎比推理能力更依赖智能体集群规模:小开源模型就能复现推动 2026 年春季炒作周期的 Mythos CVE。若真如此,就更有理由用廉价开源模型来跑更大规模的集群。
第三类公司或许仍会用前沿模型,但未必不能用 DeepSeek V4.1 Flash 等廉价模型完成,上文假设的集群规模优势更让它们有理由转向便宜模型。这类公司通常对 IP 极其保密,即便有“不拿用户数据训练”的协议,估计也不乐意把东西全交给 Anthropic 和 OpenAI。
你或许会说,即便前沿实验室没戏,那种“数据中心里全是平庸者”的场景和超智能场景驱动的算力也一样多。区别在于,“满是天才”的数据中心能自动驾驶、只受算力消耗限制,而平庸者集群会被人类调度者严重瓶颈。我个人的赌注是,其影响半径将远超前沿实验室。
评论
讨论整体冷静,主流态度是"不否认当前能力,但反对把LLM说成即将完全替代知识工作者",分歧主轴在于:当前架构是否注定只能做人机协作和窄域任务,还是开放模型、任务迁移和持续迭代会让看空者不断被打脸;同时一批人反过来质疑原文的估值、芯片验证和客服案例。
认为当前架构只能做好窄域任务,长周期自主代理不现实
- 对通用自动化看空、对纯数学不悲观;对"LLM加领域专家"则更乐观。(较多人)
- 时间感、记忆和估算真实耗时的能力是硬伤,这让能处理变化需求的长期自主代理在当前架构下很难成立;窄域且输出更确定的任务受此影响较小,多代理和人机协作会更实际。(较多人)
- 人类在环能充当方向控制和时间锚点,是近期真正产生价值的形态。(较多人) > 自主LLM会失败,这其实很好:我们直接告诉它做什么时它们表现惊人,不需要自主性,也就没有人类毁灭问题。(@zzzeek)
把LLM看作可指挥的初级工程师或工具,而不是自主专家
- 更准确的说法是"开了挂的初级工程师,能管理一群实习生";前沿实验室可能靠炒作估值存活,但会留下扩散到全行业的技术和架构。(少数人)
- 在专家指导下,LLM在特定领域能显著增值;它们更像多维度的魔法镜,指向哪里就在哪里有用,甚至互相对照也有用,但Transformer可能只是通往下一阶段的有用工具。(少数人) > 它更像一个开了挂的初级工程师,能指挥一群实习生。(@vatsachak)
认为开放模型和持续进步会不断削弱悲观论
- 开放且便宜的模型会持续压低大实验室的定价和利润空间;等此前的支出承诺撞上门,冲击范围不会好看。(少数人)
- 有人直接看多AI,认为真正进步迟早会出现;也有人把"2025年后没写过一行代码、LLM已取代所有人"的说法视为一种煤气灯式叙事,认为温和看空反而清新。(较多人) > 我看多AI,某个时点会出现真正的进步。(@Founderarcstone)
质疑原文用估值、芯片验证和客服来论证替代难度
- 估值前提可能反了:前沿实验室并未按"完全替代大多数知识工作者"定价。若真能替代,按企业当前支付给知识工作的五六十万亿美元量级年成本算,行业收入该是双位数万亿美元,估值更应是其倍数;而当前累计大约六七万亿美元,反倒更像只反映了目前能自动化的那部分。(较多人)
- CPU项目验证工程师远多于设计工程师,是因为一颗芯片出错要数月流片、数千万美元重做,不能把这种行业特有比例外推到LLM。(较多人)
- "客服是受控且重复的环境"很难成立,客服往往正是受控环境失败后的出口。(少数人) > 客服正是我在这套受控环境失效时才会去找的东西。(@yunwal)
认为"最简单任务"的标尺会随模型能力上移
- 过去"最简单任务"是写出连贯英文,现在变成自主修复、审查并合并一个缺陷修复;静态地说模型连最简单任务都要紧盯,容易忽略目标本身在移动。(少数人) > 现在所谓"最简单任务"已经变成自主修复、审查并合并一个缺陷修复。(@someguynamedq)
认为人类专家同样需要大量专门训练,泛化差距未必特殊
- 模型只在训练任务附近泛化、且附带严格条件,有人反问这是否和人类成为专家需要长期专门训练有本质区别。(少数人) > 人类专家不也要在一个具体任务上训练很久吗?(@againstapples)
有价值的补充
- 有读者给出一篇2026年4月的相关论文:让前沿模型下棋,不明确告知合法走法时,没有模型识别合法走法的比例超过八成,很多请求的非法走法多于合法走法;即使明确提示,模型仍会请求非法走法;剔除非法请求后,也打不过约1100 ELO的象棋模型。这被用来支持"当前前沿模型连最简单任务都需要费力监督和护栏"。
- 另一个结构性批评指向商业模式:当卖更多词元本身就是收入来源,系统会被激励去"多想"、诱导互动、写空泛叙事,甚至滑向暗黑模式;而严格规格的替代品人类审核又无法扩展到大模型输出量级。
- 有观点提醒,看空应细分:对通用自动化看空、对纯数学不悲观,对"LLM加领域专家"更看多,混在一起谈会掩盖真正分歧。