Hacker News 中文摘要

RSS订阅

LLMs奖励专业知识 -- LLMs reward expertise

文章摘要

大型语言模型让所有人都能成为通才,但真正的关键在于领域专长。以数学家陶哲轩与ChatGPT的对话为例,他简洁精准的提问方式能获得远超普通用户的深度回答,说明专业能力才是高效使用AI的核心。

文章总结

在2010年代,如果你有技术短板(比如不会写CSS),要么依赖同事,要么指望网上有现成答案。如今,借助大语言模型,每个人都能写出还算过得去的CSS,LLM让所有人都成了通才。

因此,很多人认为使用LLM不需要什么技巧。想要LLM产出的内容——博士级数学、尚可但偶尔乏味的代码,或LinkedIn风格的生硬文章——直接开口要就行。既然大家都在用同样的模型,“提示词高手”和初次使用者得到的结果并无二致。

这种看法是错误的。提示词最重要的技能,是你所提问领域的专业知识。

一个很好的例子是数学家陶哲轩与ChatGPT关于雅可比猜想反例的对话。这和我平时用的ChatGPT完全不同!就算给我无限次尝试机会,我也达不到陶哲轩的水平。

从陶哲轩的对话中可以学到很多提示技巧:

  • 他的信息非常简短直接,不逐条回应模型,只抓要点
  • 模型输出比普通人使用时更简洁。通过展现专业水平,陶哲轩让模型进入“与数学家对话”模式,而非“向业余人士解释”模式
  • 当模型回答有误时,他会委婉质疑,比如“这比我预想的要复杂”
  • 他经常自己提出跳跃性建议,几乎从不采纳模型关于下一步的建议

但仅靠模仿这些技巧,无法在数学问题上像陶哲轩那样提问。关键在于他真正理解数学:能从ChatGPT的多段回复中提取相关思路,提出替代方案或表述方式,并识别出“看起来不对劲”的地方。

陶哲轩的数学水平远超我的编程能力。但“领域知识能让你更擅长使用LLM”这个观点,我在工作中也深有体会。如果你对代码库有深入理解,就能比不熟悉时更有效地驱动LLM。因为你对好的解决方案有自己的判断,可以说“不,我觉得这里可以更简单”,或“我们不是已经做过X了吗?”,或“能用这些熟悉的术语来表达这个问题吗?”

这触及我之前写过的观点:系统设计问题更多取决于具体细节,而非通用原则。两者都有用,但我宁愿熟悉代码库,也不愿只掌握软件系统的通用知识。陶哲轩在对话中问了很多具体问题,比如“X在这里适用吗?”或“给定Y和Z,为什么是A?”。我无法就雅可比猜想提出这些问题,但可以针对我在GitHub负责的系统提出类似问题。

没有领域知识时,你可以依赖LLM至少得到一些结果。这并不差!但如果你有领域知识,就能通过强力引导,从同一个LLM中榨取更多价值。大多数人需要混合使用这两种方法,因为我们在某些领域有专长,在其他领域则没有。

领域知识的有用性表明,即使模型越来越强大,人类专业知识仍将发挥作用。对许多任务而言,瓶颈是人而非模型,因为难点在于向模型精确传达人类想要的解决方案。信息“已经在模型里”,但需要非常聪明的人才能将其提取出来。

评论总结

根据评论内容,主要观点和论据总结如下:

观点一:LLM奖励专业知识(认可度较高) - 多位评论者认为,LLM对领域专家更有价值,专家能提出正确问题、引导模型产出高质量结果。 - 关键引用: - "Just Talk To It is the best method for working with LLMs if you're an expert" (Swizec) - "I have a significant background in biblical scholarship... That changes things significantly" (sramsay)

观点二:LLM放大能力,但非专家可能适得其反(认可度中等) - 评论指出,缺乏专业知识的人使用LLM可能产生“似是而非的垃圾”,浪费他人时间。 - 关键引用: - "AI is a giant multiplier for people with specialized knowledge... But it's also a giant devaluer for that same knowledge" (boron1006) - "If you don't know where you're going... it will get you very far in the wrong direction" (bashtoni)

观点三:LLM效果因人而异,存在分歧(认可度中等) - 部分评论认为,LLM的效果取决于用户类型,专家和非专家都能受益,但方式不同。 - 关键引用: - "every other person gets a different conclusion about who these models reward/empower" (postalcoder) - "LLMs can be both and they erect a mirror of the human using them" (zmmmmm)

观点四:LLM缩小专家与非专家差距(认可度较低) - 少数评论认为,LLM正在缩小专家与非专家的能力差距,但尚未完全消除。 - 关键引用: - "Since LLMs the gap between experts and non-experts has been shrinking... but vanishing" (petres)

观点五:对经验传承的担忧(认可度较低) - 有评论担心,LLM可能阻碍新手获得实践经验,导致经验断层。 - 关键引用: - "experiential learning may be mostly a thing of the past... creates a real tension between the person with experience and the person without" (travisgriggs)

总体平衡性:多数评论支持“LLM奖励专业知识”的观点,但存在分歧,部分认为效果因人而异,少数认为差距正在缩小。评论整体认可度未明确标注,但观点分布显示专家受益论占主导。