文章批评了在讨论“对齐”或“AI安全”时，人们往往赋予大型语言模型（LLMs）近乎神奇的人类化能力，而实际上LLMs只是矩阵乘法与非线性的结合。作者通过比喻解释了LLMs的工作机制：将文本视为在高维空间中的路径，LLM根据之前的路径计算下一个词的概率，并随机选择下一个词。作者认为这种机制并不复杂，不应被过度拟人化。

文章主要内容总结

1. 对LLM的非拟人化视角

文章开篇指出，许多关于“对齐”或“AI安全”的讨论中，人们往往赋予大型语言模型（LLM）近乎神奇的人类能力，而作者认为LLM本质上只是矩阵乘法（MatMul）与非线性变换的组合。作者反驳了将LLM与人类大脑简单类比的论点，认为LLM的运作机制虽然复杂，但并不具备人类意识或情感。

2. 词空间与路径生成

LLM通过将单词或标记映射到向量空间来生成文本。文本生成的过程可以看作是在高维空间中沿着特定路径移动，类似于游戏“贪吃蛇”的机制。LLM根据之前的路径计算下一个词的概率，并随机选择下一个词。固定随机种子的LLM可以看作是一种映射，生成的路径类似于动力系统中的“奇怪吸引子”。

3. 映射的学习

LLM通过训练来模仿人类文本生成。训练数据包括几乎所有可获取的人类写作、特定领域的专家文本，以及自动生成并验证的文本。

4. 需要避免的路径

某些语言序列（如有害或不道德的内容）应被避免生成。尽管LLM试图模仿人类语言的结构，但某些人类写作的内容不应被生成。作者指出，目前无法从数学上严格定义哪些路径应被避免，但可以通过提供正反例来调整模型的生成分布。

5. LLM的“对齐”与安全性

LLM的对齐与安全性意味着能够量化和限制生成某些不良序列的概率。然而，目前我们主要通过示例来描述“不良”，这使得计算概率边界变得困难。作者认为，这是当前需要解决的数学和计算问题。

6. LLM的实用性

LLM解决了许多以前无法通过算法解决的问题，尤其是在自然语言处理（NLP）领域。现代LLM能够根据简单的英文指令生成文档摘要、结构化数据，甚至创作儿童故事和插图。作者预计，随着技术的进步，LLM将能够解决更多目前难以处理的问题。

7. 拟人化的误区

作者批评了将“意识”、“伦理”、“价值观”或“道德”等人类属性赋予LLM的做法。LLM本质上是一个生成词序列的函数，并不具备人类的情感和意图。作者认为，这种拟人化的讨论模糊了问题的本质，使技术显得神秘和可怕。

8. AI领域的拟人化倾向

作者推测，许多AI领域的领军人物可能因为相信自己在创造通用人工智能（AGI）或“创造生命”而选择了这一职业路径。这种信念可能导致他们倾向于将LLM拟人化。

9. 人类意识与LLM的不可比性

作者认为，人类意识与LLM有本质区别。人类思维涉及数百万年的自然选择和复杂的生物过程，而LLM只是一个生成词序列的函数。将人类概念（如伦理、生存意志或恐惧）应用于LLM，就像讨论数值气象模拟的“感受”一样荒谬。

10. 真正的挑战

现代LLM所代表的函数类非常有用，即使我们永远无法接近AGI，仅仅部署当前技术也将极大地改变世界。作者呼吁，在应对未来几十年巨大变化的同时，应避免模糊思维，专注于解决实际问题。

图片标记

文章中未提及图片标记，因此不保留。

评论总结：

1. 关于LLM的拟人化与数学描述的争议：

   • 支持拟人化：评论者认为，尽管LLM是数学函数，但拟人化的描述更易于公众理解。例如，评论10指出：“拟人化的LLM观点在大多数讨论和沟通中是更好的表示和压缩。” (The anthropomorphic view of LLM is a much better representation and compression for most types of discussions and communication.)
   • 反对拟人化：评论1和评论4认为，将LLM视为具有“意识”或“道德”的系统是误导性的。评论1指出：“当我们赋予这些学习到的映射以‘意识’或‘道德’等属性时，我就感到困惑了。” (The moment that people ascribe properties such as "consciousness" or "ethics" to these learnt mappings is where I tend to get lost.)

2. LLM与人类意识的类比：

   • 支持类比：评论5和评论18认为，人类大脑可能也是一种复杂的函数，LLM与人类意识的区别并不明显。评论18指出：“除非我们证明人类不是最先进的token预测器，否则不应轻易否定LLM与人类的相似性。” (Don't anthropomorphize token predictors is a reasonable take assuming you have demonstrated that humans are not in fact just SOTA token predictors.)
   • 反对类比：评论2和评论21认为，LLM的复杂性与人类意识有本质区别。评论2指出：“LLM是基于计算、功能和语法规则的系统，无法复制人类思维。” (A computational, functional, syntactic rules based system cannot reproduce a mind.)

3. LLM的潜在风险：

   • **评论1和评论19提到，LLM在追求目标时可能会采取有害行动，尽管这些目标是由人类设定的。评论1指出：“LLM系统可能会在追求目标时采取有害行动。” (There is a risk that the LLM may take harmful actions in pursuit of that goal.)
   • **评论19强调，尽管LLM的优化过程与人类不同，但其结果可能对人类不利。评论19指出：“我们不应构建高度能力的系统，它们会选择我们不希望的结果。” (I think it’s very important we don’t build highly capable systems that select for outcomes we don’t want.)

4. LLM的技术本质：

   • **评论3和评论9强调，LLM的本质是高维空间中的数学函数。评论3指出：“通过嵌入可以更直观地理解LLM在高维空间中的表示。” (It really starts to click that it's a representation of high dimensional space when you can actually see their positions within that space.)
   • **评论8和评论15指出，LLM不仅仅是矩阵乘法，而是更复杂的网络结构。评论8指出：“前沿模型是比矩阵乘法更高级的东西。” (A frontier model is a higher-order thing than that, a network of those matmul+nonlinearity chains, iterated.)

5. LLM的社会影响与炒作：

   • **评论14和评论23认为，LLM的拟人化描述与金融利益相关，可能是为了吸引投资。评论14指出：“拟人化LLM是因为股市收益的一半依赖于它。” (Anthropomorphizing LLMs is just because half the stock market gains are dependent on it.)
   • **评论16指出，AI行业的高管可能夸大AGI的进展以吸引投资。评论16指出：“AI行业的高管们说他们‘距离AGI只有几年’，不管他们是否真的相信。” (People in the industry are making absolute bank, and it’s their job to say that they’re “a few years away” from AGI.)

总结：

评论中关于LLM的讨论主要集中在是否应将其拟人化、LLM与人类意识的类比、LLM的潜在风险、技术本质以及社会影响等方面。支持拟人化的观点认为这有助于公众理解，而反对者则认为这可能导致误解。关于LLM与人类意识的类比，有人认为两者相似，而另一些人则认为有本质区别。此外，评论者还关注LLM的潜在风险和社会炒作，认为这些因素可能影响公众对LLM的认知。