Hacker News 中文摘要

RSS订阅

几乎不要用AI写任何实质性的内容 -- Almost Never Use AI to Write Anything Substantive

我认为几乎永远不应使用AI来写作,即在页面上敲字那种写,无论是博客文章、研究报告、备忘录、深思的邮件、小说,还是其他旨在传达想法、论证、分析或实质思考的文本。即便给AI详细要点、口述想法或上下文,甚至编辑其写的文本,也仍如此认为。

正文

我认为你几乎永远不该用 AI 来写作——也就是你往页面上打字时所做的这件事——不管是博客文章、研究报告、备忘录、一封有思考的邮件、一部小说,还是任何旨在传达想法、论证、分析或其他实质性思考的文本。即便你给 AI 非常详细的要点、口述想法或其他背景,哪怕你再编辑 AI 写出的文字,我也这么认为。

理由有三:(1) 写作过程是思考过程必不可少的一部分;(2) AI 写出的东西含糊,而且错得不容易被发现;(3) 用 AI 写作却不标明,是粗鲁且误导人的。下面详细说,但先清一下嗓子。

我并不反 AI。研究和写作过程里的许多其他环节,用 AI 很合理,比如转录音频、分析数据、搜索信息、头脑风暴、给草稿反馈。用 AI 做文字校对、文案编辑,或把一段话改得更清楚、更紧凑,也可以,只要每处修改都由人有意接受或拒绝。我反对的只是用 AI 来写文本。有些情况下,用 AI 写主要起协调或后勤作用的短文本没问题,比如公司里重复、非常公式化的短邮件,可以 AI 起草再轻改。另一个可能的例外是:你极其仔细地审查并大幅编辑 AI 写的文本;这也许可以,但不一定,而且并不比从头写更省事、更快。实践中,这种写法提速同样是靠牺牲质量。用 AI 做头脑风暴和分析,这两者也涉及费力思考,是否矛盾我不确定;只要你也把自己的信念经过写作检验,大概没问题。

用 AI 写作确实有好处:比亲自写省力得多,也快得多。所以,只有当它的坏处足够大,整体上才是坏的。你可能已经猜到了,我认为坏处够大。

而且,我只针对现在以及我预计不久的将来会存在的模型。将来某个时候,可能会出现好到可以把写作委托出去的模型;但到那时,可能更合理的是把整个研究或写作过程端到端委托出去,因为除了写,它们还得做全部或大部分思考。

做任何研究,目的都是就重要问题形成准确的信念,然后再传达给读者。在我看来,做到这一点最好的方式之一就是写作。

保罗·格雷厄姆写道:

就某件事写作,即便是你很熟悉的事,通常也会让你发现,你并不像自己以为的那么了解它。把想法写成文字是一场严峻考验。……最终出现在文章里的想法,有一半是你写的时候才想到的。确实,这就是我写作的原因。

在帕特里克·麦肯齐的一期播客里,克拉拉·科利尔说:

当我写某种实质性的东西时,写作过程中没有任何一个部分是我不在思考、不在改变主意的。从提纲到变成文本,再到具体句子,都是这样。我常有这种经历:试图把提纲变成成品,摆弄一个过渡句,怎么都不对,然后我意识到,哦,这个过渡不成立,是因为这两点本来就不该放在一起。我在这里想做的事是错的。而如果我把提纲喂给 LLM,它不会停下来考虑:也许这个提纲是坏的。

帕特里克回答:

我完全同意,写作过程就是思考过程,而且我认为现在已有经验证据,因为你造了一台会写作的机器,思考和写作就作为副作用冒出来了。

但写一篇多页文章时,即使你有很强的论点,强迫自己把它写成句子和段落、组织论证,也会让你看到论证的漏洞。它会让你看到研究过程哪里不足。它会暴露这样的事:哦,其实有东西和我想要说的相矛盾。而作为一个还算有伦理的人,我想我会承认存在反方论点,或者不得不补充说,最终可主张的结论比我“想写”的那个要弱。

我基本同意这些看法。我写东西时,必须先知道我想说什么,也就是必须思考证据和论证,并形成某些信念。写作迫使我做这些事,而它们对任何写作或研究项目都是必需的。任何这类项目,总得有人把整件事装在脑子里:所有证据、考量、论证,以及它们如何拼在一起。用 AI 写作,让人更容易避开必要的思考。

我写东西时,会对具体措辞和说法做很多小决定。这些小决定共同决定了文本整体的清晰和正确。

比如,我让 Claude Fable 5“写一小段介绍 AI 芯片走私问题”,这个话题已被广泛报道。它输出:

自 2022 年 10 月以来,美国限制向中国出口先进 AI 芯片,意在减缓中国在 AI 前沿的进展。但出口管制的效力取决于执法,而 AI 芯片体积小、价值极高,并通过庞大的全球供应链销售——这些特性让它们既诱人又便于走私。转运网络通过新加坡、马来西亚、阿联酋等地的中间商,利用空壳公司和伪造文件,把受管制 GPU 运进中国。对其规模的估计差异很大,从每年数万枚到可能超过十万枚高端芯片不等,而即便低端也代表足以训练和部署有能力 AI 系统的算力。与此同时,负责监管这一数千亿美元贸易的工业与安全局,其预算和人员更适合一个小得多的问题。因此,芯片走私可能悄悄掏空美国 AI 政策的核心支柱之一。

这不算糟,甚至可能相当合理,但这是我会写的方式吗?不是。事实上,Claude 做了很多在我看来微妙地错误或糟糕的选择:

  • Claude 写“出口管制的效力取决于执法”,但这到底是什么意思?它要么说了句显然的话(执行不力或不被执行的政策当然效果更差),要么什么都没说。也有人可能解读为出口管制整体效果受执法上限约束,但我认为不对,因为总还有其他改进出口管制的方式,比如调整政策。
  • Claude 写 AI 芯片“体积小”,这没错,但通常走私的是 AI 服务器,体积并不小。更重要的是,这无关紧要,因为芯片走私很少靠把产品藏起来过海关;通常只是把产品重新标成别的货物,然后几乎公开地运出去。
  • Claude 写“通过庞大的全球供应链销售”让 AI 芯片“既诱人又便于走私”。这是什么意思?是说走私者更容易从美国以外的公司买到芯片?(直到最近,走私者似乎都能比较容易地从总部在美国的公司拿到 AI 芯片。)还是说,这让走私者在马来西亚等国大量购买芯片不那么显眼?(我觉得这更接近事实。)还是别的?
  • Claude 写走私规模估计“差异很大,从每年数万枚到可能超过十万枚高端芯片不等”。字面上没错,但低估计几乎肯定是错的,真实数字可能更接近 Claude 提到的上限,也就是数十万。所以这有误导性。另外,Claude 没说是哪一年,而自 2022 年 10 月以来走私量波动很大;也没说“高端”芯片是什么(听起来像专供沙特王室和贵妇人的手工奢侈品)。顺便说,这部分也得怪我:2023 年 10 月我自己在一份报告里低估了未来 AI 芯片走私的规模,这可能进了 Fable 的训练数据。当时我们只有一篇路透社关于深圳小规模黑市活动的报道。报告里很多事我说对了,包括走私的机制描述和政策建议,但对问题规模的预测大概差了一个数量级。
  • Claude 写“即便低端也代表足以训练和部署有能力 AI 系统的算力”。这句话没有信息量。某种意义上,一枚 AI 芯片就“足以”训练和部署 AI 系统,不管有没有能力。(再说,什么叫“有能力的 AI 系统”?为什么少量算力对有能力 AI 系统比对无能 AI 系统更重要?你甚至可能觉得反过来才对,更弱的 AI 系统才会从少量算力中受益更多。)
  • Claude 写工业与安全局(BIS)“负责监管这一数千亿美元贸易”。这里远不如直接提具体数字。
  • Claude 写 BIS“其预算和人员更适合一个小得多的问题”。第一,我们知道 BIS 的预算和人员,最好直接提数字并给出背景。第二,一个问题“更小”是什么意思?是不那么重要,还是解决它需要更少力气,还是别的?重要的难道不是给 BIS 更多资源可能大幅改善执法,而不是它现在的资源更适合别的问题?
  • Claude 最后一句,芯片走私“可能悄悄掏空美国 AI 政策的核心支柱之一”,纯属没有信息量的“掌声灯”。

一篇文章里有一两处这种问题可能没多大关系,但根据我的经验,AI 写的东西非常密集地充斥着不必要的含糊和微妙的错误。注意,即使你给 AI 大量背景,比如书面笔记和提纲,这个问题依然存在。比如我有时用 Claude 总结会议记录发给同事。即使提示词写得很仔细,还包含几个我自己写的会议要点例子,并让 Claude 拿到完整会议转录,它仍会引入微妙的含糊和错误。其中不少错误似乎是因为 Claude 不太理解这些要点是给谁看的、他们知道什么、不知道什么,尽管我试图提供背景。

同样,埃里克·施维茨格贝尔写道:

人类专家思考方式不同于 LLM,而且更好。他们的用词,哪怕很细微,也反映出他们自己可能都没意识到的敏感度。通常,专家的文字比语言模型的输出更贴合他们专长的领域。……

你可能反驳:我当然会读 LLM 输出再发送,除非我认可每一个词,否则不会发邮件,更不会投稿!所以,你确实想过文中表达的想法。文本反映了你的专家最佳判断——甚至可能比你的专家最佳判断更好:你的专家最佳判断加上 LLM 的专业知识。

我回答:一边读一边点头,和真正生产性地生成一篇文章,有巨大的认知差别。两个原因:第一,文字已经写在页面上,人容易被动地接受大致够用的词,而不是像从头生成文字时那样费力、主动地考虑用词。第二,如我上面所说,我怀疑人类,即使是专家,也未必清楚塑造用词的所有因素——他们到底对什么敏感。你会用略微不同的方式措辞,即使你不知道这一点,也不知道为什么,但发出的和接收到的信号是不同的。

我同意。但实际情况比这更糟。AI 不仅写出不必要的含糊和微妙的错误,而且写得几乎最大限度地令人信服。如果 AI 并不真正“知道”你让它写的东西,它通常不会停下来告诉你它不知道;它会写一些含糊、无意义到足以成真,或者听起来是真的但并非如此、未必如此的东西。人当然也常犯错、常含糊,但我认为人犯错和含糊的方式不那么令人信服,也更容易被发现。

要读 AI 写的文本,并像我上面那样发现所有小问题,需要很多力气。如果我不太了解 AI 芯片走私,我大概不会发现我列出的多数问题,除非我非常仔细地想。但如果是我自己写的,我就不可能不注意到自己在哪里糊涂。

有时我写文本是为了让别人读,比如想发到网上、给同事看求反馈、作为邮件发出,或发给出版商。当我发布或分享一篇文章时,读的人大概会期望我对写的东西有过思考,尤其期望文本代表我的想法。至少他们应该这样期望,而我也希望他们这样期望。这是读者和作者之间的隐含契约:读者付出注意力,作者用有价值的东西回报,比如信息或娱乐。

在同一期播客里,克拉拉·科利尔还说:

也许我太矫情了,但 LLM 能产出的那个版本的我写的东西,总会缺一些我能加上的东西。这又不是因为——有很多领域模型懂得比我多。但任何人都可以随时问 Claude 任何事。

如果他们读的是我写的,或我作为编辑选择放到他们面前的东西,那是因为有一个隐含契约。我提供的是他们在别处得不到的东西。这会比直接问模型更值得花时间。这就是为什么我不会直接用 LLM 生成的文本——如果我用了,我会希望在读者花时间之前,非常清楚地告诉他们等着他们的是什么。

我上面写的那些,关于微妙错误和含糊,关于当一篇文章是 AI 写的、你根本不知道作者是否投入了大量思考——所有这些都违反那个契约。所以当我读到一篇文章,发现它全部或部分由 AI 写成,我对文本和作者的信任会立刻降低,而且我认为这种降低是理性的。

出于所有这些理由,当你推广 AI 写的文本,或把 AI 写的草稿发给别人,我认为你是粗鲁的。这有点像把一份写得非常草率的草稿发给别人,却隐瞒它非常草率。而除非你清楚标明 AI 写的输出,你就在误导读者,因为他们会期望你的文本是“你的”文本,经过仔细思考,具体代表“你的”信念。

当然,你可以通过标明文本是 AI 写的,或实质性由 AI 写成,来避开粗鲁和误导的问题。不过我猜大多数人不想这么做。

问:如果清楚标明,我不能在文本里包含 AI 写的输出吗?答:可以,这在我看来基本没问题。比如我有时对某事做浅层调查,依赖 Claude 提供某条信息,然后写“Claude Fable 5 告诉我,某某情况属实”。当不值得花大量时间核实某个具体说法时,这有用。重要的是输出被清楚标为 AI 写的,读者可以自行决定打多少折扣。如果标注 AI 输出,最好也说明是哪个具体模型生成的。

问:那我整篇都这么做不就行了?答:我认为几乎永远不该用 AI 写一整篇实质性文本,即使标明,至少如果你打算让别人读。因为一,结果很可能比你亲自写差得多;二,人们如果看到标明 AI 写,就会(正当地)不读。我认为即使只有你自己读,用 AI 写文本也常常是个错误,因为那样你就失去了前两节讲的好处。

问:我是非英语母语者,用英语写作很吃力,可以用 AI 写英语吗?答:有人建议这可以接受,包括不披露。出于上面所有理由,我不同意。用 AI 翻译自己母语写成的文本,我认为可以接受,但即便如此,最好也披露。总体上,我的感觉是,AI 在翻译时比从要点笔记起草更能保持清晰和精确。

问:如果赌注非常高,用 AI 加速必要的写作非常重要、非常有价值,比如写与 AI 相关的政策备忘录呢?答:我不觉得用 AI 写真的让我快多少。或者我认为,实践中它提速的方式是牺牲质量,而你不该在边际上牺牲质量。比如华盛顿已经淹没在几乎没人读的报告和议题简报里;稀缺的、真正帮助政策制定者的,是关于重要议题的更准确、更有思考的分析。

评论

社区对用人工智能代写实质文本普遍警惕,认为其模糊且削弱思考,但许多人推崇将人工智能作为不知疲倦的编辑或思考催化剂,分歧主轴在于模型应定位为代笔还是辅助修订。

认为人工智能代写会导致表达模糊且损害思考过程

  • 多名读者指出,模型生成的散文常在不易察觉处出错,抹去微妙差异,且被动审读无法替代主动写作带来的认知收益,引入中介还会让沟通变成传声游戏(较多人)
  • > 工作中我耗费大量时间重读纠正人工智能的摘要,那些狡猾消失的细微差别损害了原意(@alas44)

认为人工智能应作为编辑和批评者而非代笔

  • 不少用户强调,让模型指出废话、过渡生硬或动词名词化等问题,自己保留最终裁决,能提升清晰度且不污染个人风格;亦可用于批评写作而非全文重写(较多人)
  • > 任何大模型建议的词都该禁用,哪怕更好,但让它像编辑一样标出赘词和句式问题,能让你更知情地选词(@tptacek)

认为人工智能能降低门槛并促进主动写作

  • 部分用户分享,借助模型迭代批评或简化专家内容,反而写得更多、思考更透;用于自我消费类总结或邮件精简也被认为尊重他人时间(少数人)
  • > 最佳对话往往以我大量自己写作为开端,再让模型批评澄清,最后我自行落笔,关键在主动投入(@pigpop)

认为写作本身简单无需工具或质疑原文立场

  • 个别人觉得写作只是一个词接一个词,用模型多此一举;还有人从标点细节怀疑那篇反对模型的文章本身由机器生成(少数人)
  • > 写作是最容易的事,把词一个接一个摆上就行,用人工智能很怪(@AlienRobot)

有价值的补充

  • 写代码与写散文同理:模型生成的代码也常隐蔽地模糊出错,后续读者承担代价,但成本收益权衡可能不同(@vanschelven 类比)。
  • 作家终稿常经多次内心迭代,大模型让新手跳过经验直接产出“实质”文字,类似有天赋但缺经验的程序员,重点在能否激发写作兴趣(@calebkaiser 观察)。
  • 大理石是模型的,凿子在我手:借助模型广阔语库突破个人语言框架,但最终雕琢决定权在人,仍可保有作者身份(@atdt 类比)。