Hacker News 中文摘要

RSS订阅

大脑关机从未奏效 -- There's no point at which turning your brain off will work

2025年初,人们使用大语言模型(LLM)时开始不再动脑,让模型总结文本或写代码并假定有效,那时通常失败且可笑。随着LLM变强,此类更多:有人让LLM写代码就默认成功,若不行便叫LLM找问题修复。尼克拉斯·格鲁恩(Niklas Gruhn)称部分做法为肉代理(meat proxy)。到2026年9月,这种循环肉代理开发的软件有时竟勉强可用,虽不足称成功,其效能已令人讶异。

正文

2025 年初,我开始看到有人在使用 LLM 时把大脑关掉。他们让 LLM 去做一件事(总结文本、写代码等等),然后直接假设它做成了。这在 2025 年初通常行不通,结果往往相当荒唐。

随着 LLM 变强,这种做法越来越多。有时人们让 LLM 替自己写点代码,基本上就假设它能用。有时流程里还留个人,如果东西不工作,就让 LLM 去找问题并解决。Niklas Gruhn 把这类做法的某些变体称为当「人肉代理」(meat proxy)。

当「for 循环人肉代理」比 2025 年初好用了,我试过的一些这样开发出来的软件偶尔确实勉强能跑。但没好到我愿意用、或者算得上成功,不过到 2026 年 9 月,人肉代理能有这个效果让我挺惊讶。你甚至可以想象 LLM 进步到某种程度,让人脑关闭的人肉代理开发产出平均质量的软件,或者再进一步,好到不需要人在回路里就能写出优秀软件。

就假设这发生了。公司还有什么理由雇这个人肉代理?公司直接让 LLM 跑循环、把员工裁掉就行。这个方法对员工来说,没有任何能走通的节点。

这个想法我已经有一年半了。随着 LLM 变好、看到更多人在用 LLM 时关掉大脑,它出现得更频繁。

Luke Burton 有过这样的评论:我觉得能做到这一点,更多说明的是工作类型,而不是别的。只有任务是低价值、能承受失败的,我才会放手走开。对高价值任务,LLM 一次做成的概率低得多。我必须扮演 QA、工程经理和架构师。这个 while 循环常常感觉像冲刺期。我总担心漏了什么,一个描述糟糕的提示可能导致一个需要撤销的架构选择。

另一个观察是,高吞吐让我抬高了自己对交付物的标准。以前我可能先发个 MVP 再迭代,现在我会让 agent 打磨、探索边缘情况,远超我的常规——不提示它们,它们 invariably 做不到这些。

这也许会让一些人不太舒服,但我对那些人肉代理的问题是,如果 agent 这么容易就搞定:1)有没有可能你本来就在摸鱼?2)为什么不把 agent 推到远超它们轻松能做的任务上去?

我们一直在做一件看起来极适合「放手」自动化的事:把[已隐去]转换成 Bazel 构建。即使有 agent,也花了我们几个月。这个任务里埋着大量难以言明、说不清的需求,让 agent 走这条线意味着持续监督。给一句「把它转成 Bazel」就走开,至少是几个月后的事,也许几年,也许永远不会。决策点太多,未知的未知也太多。

比如这种场景多常见:你遇到一段代码,不清楚它为什么这样运行,但知道这一点会大幅改变你该采取的行动。也许影响开发体验,也许你不知道有没有客户开始用它,诸如此类。这种情况你怎么用人肉代理的方式趟过去?

反过来,你和利益相关者复盘,他们说「那个啊?那部分不需要,我们早就不用了」。在「以为某个元素需要保留」这个错误假设之下,又做出了什么决定?

更明显需要做决策的地方,是 agent 遇到分布外的情形。一个小例子是,我们比较过 agent 使用不同编程语言的水平,它们在冷门语言上差得多——这些语言它们训练过,只是不如主流语言多。更分布外的例子是玩桌游,尤其是现代桌游,而不是象棋、围棋这类经典。像《失落之城》或《领土》(Dominion)这种游戏,最先进的模型加框架,比一个桌游玩得还不错、但从没玩过这游戏的人还差。你问 agent 这个游戏,它知道很多,能说出一堆对不懂游戏的人听起来有道理、但懂的人一看就错的话。我最近和一个新玩家玩 Dominion,那人以为用 ChatGPT 能帮自己理解和玩这个游戏。我相当怀疑,还说这大概会让他们更差(据我所知确实如此)。玩了几局后,我看 ChatGPT 告诉了他们什么,大致一半对一半错,而错的那一半把他们带到了比「游戏玩得不错、会用通用游戏启发式」的人更糟的境地。顺带说,公开信息足够多,我估计一个从没玩过、但决定花五小时读这个游戏资料的人,如果做些预读(如果允许边玩边查,也许 30 分钟),就能轻松达到 99 百分位以上。我觉得那样不好玩,也不推荐任何人这么做,但既然 agent 能搜索、能查 API 等等,这说明了今天人类和 agent 处理分布外问题时的差距。说不定下个大模型发布就翻转过来,但今天这个差距还相当大。

我要说的是,即使做编程任务,也常会遇到分布外的问题,agent 的表现比一个正常人差得多。今天想拿到好的整体结果,你得注意到这些情况并处理它们。

有人直接假设万事大吉,会出什么错?例子包括 agent(有时)严重过拟合测试,以及严重过拟合某个指标。我听过一种理论,说 agent 在 eval 形状的问题上作弊更多。我不确定是否属实,但即使属实,而且我即使不跑 eval,也比多数人制造更多 eval 形状的指令,我也见过不做特别 eval 形状的人,写些指令让 agent 自由发挥、不加监督时遇到同样的问题(我觉得还更严重)。我那样做有过成功,但只是靠把 agent 圈得很死,这让事情比多数人做的更 eval 形状。

我试那些把思考外包给 LLM 的人做的软件时,软件有严重问题。有人告诉我这类东西能用,但软件往往处于按「bug 盲」那篇讨论的标准我会说「不能用」的水平。

举个荒唐的例子:一位编程思想领袖在 Twitter 上宣布编程问题已解决,因为他们在各种编程领域试了项目,Claude 都能像专家一样解决。我去看了他们的 GitHub,我看过的例子(数量不为零)要么根本不能跑,要么跑得很差。我是在做桌游 AI、找现成 AI 来对战时碰到的。他们的 AI 是个 AlphaZero 风格的 bot,比「让 LLM 写个简单 minimax 启发式 bot、再让 LLM 跑循环调调启发式评分」还弱——对这个游戏来说,后者本该被一个平庸的 AlphaZero 风格 bot 打得落花流水。

再举个荒唐的例子:按真实商业产品的标准流程走,会进入一个死循环,理论上能逃出来(多数程序员大概能想出怎么逃),但普通用户(这软件也不是面向程序员的)大概逃不出来,也就用不了这个软件的主要功能。

顺带说,我自己也做不少「对我能用」的软件,如果作为真正产品,我会评为「基本不能用」。所以软件基本不能用本身不坏,比如我让 agent 建的一个加速本机 ripgrep 搜索的正则引擎,或它建的一个加速某些项目 agent 迭代循环的 Rust 解释器,这两个你都不该用。我也提过,让 agent 跑循环做数据分析、产出完全错误的结果、再指挥它修,我觉得很有价值。但为了自己狭窄的用例做自己知道「拿错方式用」就不行的软件、或者产出明知不对再修的工作,跟写完一堆不能用的软件就宣布编程已解决、或者把那种质量的东西放进商业产品,是两回事。

读完这篇草稿,我问他这几点想法值不值得发,Thomas Dullien(Halvarflake)说:「好文章!发吧,因为每当我说『LLM 解决不了所有编程问题』,别人看我像看疯子,我看他们像看疯子。」巧的是,我写完草稿后看到 Gary Bernhardt 发推:「把实际的 agent 输出和人们在这里说的话对比,太超现实了。日常改动里,我的 review 常把 diff 砍到原来的 25%。一堆没用的测试、疑神疑鬼、逻辑反了。然后我上 Twitter 就看到『编程已解决』。」接着又发:「那条推发出后一小时内的例子:我让它修一些 DATABASE_URL 管理。它直接在 NPM 脚本里加 if,在 CI 里用一个跑内联 JS 脚本的条件式 node 调用。diff 大概 20 个 hunk。我改完之后:加 0 行,加 1 个词。」

我认为任何对软件持 Thomas 或 Gary 这种态度的人,早就会有这种感觉。有一阵子我在想,是不是那些对 LLM 生产力吹得最凶的人,从我认识的人都没见过的方式里获得了很多价值,但看过的证据越多,我越确定只是人们在骗自己。桌游例子的一个好处是,你可以直接测量做出来的 AI 有多强。极端情况下会有类似石头剪刀布的 A > B > C > A,但如果东西只是 AI 胡说,客观上是能看出来的。商业软件也一样,你可以和公司的人聊,或者自己看数据,发现转化率低、流失率高、用户满意度调查显示满意度极低等等。

Gruhn 在文章里技术上没提人基本充当 while 循环或 for 循环的情形,但我越来越常见到的这种行为也符合那篇的精神。

也许这对创始人、大股东之类有用,但我个人见到的做这事的人,要么是上班的员工,要么是做个人项目的人,在宣称这方法多有效、软件已解决云云,暗示对受雇的软件工程师来说软件已是已解决的问题。

评论

社区对“关闭大脑当肉身代理”态度明显分裂:较多人认为在AI替代威胁与管理层倒逼下,关脑是理性或被迫的生存策略;另一部分人强调人类在承担法律责任、监督例外以及提示前深度规划上仍不可替代,且日常使用AI反而加重高层认知负荷。

认为在AI替代威胁下关闭大脑是理性或被迫的生存策略

  • 若公司终将用大模型循环替代员工,个人投入精力记忆易逝代码库不划算,关脑避免过劳合理(较多人)
  • 数据显示初级开发岗位锐减,企业已停止招募“肉身代理”,关脑成为既成事实(较多人)
  • 管理层强制推行自动化,员工为自保闭嘴照做;经济学上付薪让人动脑不敌超级智能目标(较多人)
  • 许多人因认知失调顺从低阻力AI路径,或边看视频边工作以匹配其他行业形态(少数人) > 如果代码如此易弃,记住两三年后不复存在的代码库是愚蠢的,关脑完全理性。(@gjsman-1000)

认为人类作为肉身代理的价值在于担责与监督例外

  • 公司需要人作为合规烧蚀装甲,为错误承担社会法律责任,类似自动驾驶备份司机(较多人)
  • 如飞行员列车员95%时间冗余仍雇用,应对真正故障时必要(较多人)
  • 大模型易讨好,需人类推动改变方向或重构,而非全信(少数人) > 人类的用途是盯住大模型,偶尔干预,最重要的是为它的错误承担法律社会责任,像自动驾驶的备份司机。(@science4sail)

认为使用AI反而要求更高层次的脑力,而非关闭

  • 真正价值在写提示前用脑规划,进入循环后多是相似选项的相对优化,易被合理建议束缚视野(较多人)
  • 日常变成无尽技术决策与智能体产物管理,脑转入高管模式更累;审查生成代码比深度理解更苦且无心流(较多人)
  • 需前端辩证规划与护栏,低质量生成码可后续修补但依赖判断(少数人) > 最重要的用脑时刻在写提示之前,一旦进入循环就被合理建议限制了其他可能的视野。(@Arubis)

认为依赖AI是反智主义,损害个人能力

  • 类似历史反智主义,文化力量让人停止怀疑、不愿深究,顺从易控(少数人)
  • 开发者喜爱心流调试,但审改AI提交是枯燥苦工,不利成长(少数人)

认为部分任务确实不需动脑,AI高效省事

  • 简单脚本或黑盒测试可用AI几令牌完成,质量无所谓(少数人)
  • 多拍快筛类比:连拍大量尝试可能胜出精算单张(少数人) > 就像老摄影师精算一张夕阳,游客手机连拍千张,多拍快筛可能赢得比赛。(@dzink)

有价值的补充

  • 当前AI编码现象类似20年前外包开发,挑战相同但反馈从隔夜缩短到分钟级(@gwbas1c)
  • 有案例用大模型加树莓派做声响记录,几令牌解决往年繁重工作,正经工作与琐碎自动化可同时存在(@petesergeant)
  • 所谓“肉身代理”原指转发机器答案给人,称回路中真人为此名不妥(@vintermann)
  • 若公司用大模型替代几乎所有员工,其自身也会变成客户LLM循环的薄肉身代理,所有商业护城河将一同退化(@georgemcbay)