文章探讨了语言模型如何在有限的嵌入空间中高效编码大量概念，核心在于高维几何和Johnson-Lindenstrauss引理。通过放宽正交性约束，允许向量在85-95度范围内“准正交”，显著增加了空间的容量，从而解释了GPT-3等模型如何在12,288维空间中容纳数百万个现实世界概念。

标题：超越正交性：语言模型如何在12,000维空间中容纳数十亿个概念

在最近的一期3Blue1Brown视频系列中，Grant Sanderson提出了一个引人入胜的问题：GPT-3的12,288维嵌入空间如何能够容纳数百万个不同的现实世界概念？答案在于高维几何与一个被称为Johnson-Lindenstrauss引理的数学结果的交汇处。

关键洞察：虽然N维空间只能容纳N个完全正交的向量，但放宽这一限制，允许“准正交”关系（向量之间的角度在85-95度之间）可以显著增加空间的容量。这一特性对于理解语言模型如何在相对紧凑的嵌入空间中高效编码语义至关重要。

在Grant的视频中，他通过一个实验展示了这一原理：尝试将10,000个单位向量拟合到100维空间中，同时保持准正交关系。可视化结果表明，向量之间的角度集中在89-91度之间。然而，当我亲自实现代码时，我发现了优化过程中的一些有趣现象。

损失函数的陷阱：原始的损失函数虽然简单，但在应用于高维单位球面上的向量时，遇到了两个关键问题：梯度陷阱和99%解决方案。为了解决这些问题，我修改了损失函数，使用指数惩罚来增加对较大点积的惩罚力度。这一修改产生了预期的行为，但最大可实现的成对角度约为76.5度，而非89度。

这一发现引导我深入探索了高维空间中向量打包的基本限制，以及这些限制与Johnson-Lindenstrauss引理的关系。

Johnson-Lindenstrauss引理：该引理的核心承诺是，你可以将任意高维空间中的点投影到一个低维空间中，同时以高概率保持它们的相对距离。所需的低维空间的维度仅随投影点数的对数增长。

从理论到实践：该引理在维度缩减和嵌入空间容量两个领域有实际应用。例如，在电子商务平台中，可以将数百万维的客户偏好向量投影到低维空间，以进行实时计算。在嵌入空间容量方面，我们的实验提供了对嵌入空间容量实际限制的宝贵见解。

实证研究：通过一系列实验，我们发现随着维度的增加，球体打包在高维空间中变得更加高效。实验结果表明，对于非常大的概念数量，我们观察到的C值上限可能仍然保守。

语言模型的实际意义：GPT-3的12,288维嵌入空间具有惊人的容量，即使在86度角的情况下，其容量也远远超过可观测宇宙中的原子数量。这解释了语言模型如何在相对紧凑的嵌入维度中保持数百万个概念之间的丰富、微妙关系。

未来方向：这项研究的实际意义包括高效的维度缩减和嵌入空间设计。当前的嵌入维度（1,000-20,000）已经足够表示人类知识和推理，挑战在于如何在空间中学习概念的最佳排列。

结论：这次研究不仅揭示了高维几何在现代机器学习中的重要作用，也展示了Johnson-Lindenstrauss引理在表示数学空间中的意义。感谢Grant Sanderson和3Blue1Brown频道的启发与合作精神。

进一步阅读：有关高维几何和随机投影的更多信息，可以参考相关书籍和论文。

评论内容总结：

1. 关于ReLU在损失函数中的作用

   • 主要观点：ReLU在损失函数中的必要性受到质疑，因为其输入已经是非负的。
   • 引用：
     • "What's the point of the relu in the loss function? Its inputs are nonnegative anyway."
     • “ReLU在损失函数中的作用是什么？它的输入已经是非负的。”

2. 关于高维空间中的概念表示

   • 主要观点：高维空间可以编码大量概念，且这些概念在至少某些维度上是相互正交的。
   • 引用：
     • "In that world, each concept is mutually orthogonal with every other concept in at least some dimension."
     • “在这个世界中，每个概念在至少某些维度上与其他概念相互正交。”

3. 关于Johnson-Lindenstrauss引理的应用

   • 主要观点：Johnson-Lindenstrauss引理支持了稀疏自编码器（SAE）的研究，特别是在AI安全领域。
   • 引用：
     • "These set of intuitions and the Johnson-Lindenstrauss lemma in particular are what power a lot of the research effort behind SAEs."
     • “这些直觉，特别是Johnson-Lindenstrauss引理，推动了稀疏自编码器的研究。”

4. 关于嵌入维度的乐观估计

   • 主要观点：作者对嵌入维度的乐观估计可能忽略了非正交向量之间的距离保持问题。
   • 引用：
     • "The challenge isn't keeping orthogonal vectors almost orthogonal, but keeping the distance ordering between vectors that are far from orthogonal."
     • “挑战不在于保持正交向量几乎正交，而在于保持非正交向量之间的距离顺序。”

5. 关于LLM问题的根源

   • 主要观点：Johnson-Lindenstrauss引理不保证连续高维流形的拓扑结构保持，这可能是LLM问题的根源。
   • 引用：
     • "Johnson-Lichtenstrauss guarantees a distance preserving embedding for a finite set of points... It does not say anything about preserving the underlying topology."
     • “Johnson-Lindenstrauss保证了对有限点集的距离保持嵌入……但它并不保证底层拓扑结构的保持。”

6. 关于ChatGPT风格的影响

   • 主要观点：文章中的ChatGPT风格令人分心，但数学观察本身非常有价值。
   • 引用：
     • "The ChatGPT vibe of most of the article is very distracting and annoying."
     • “文章中的ChatGPT风格非常令人分心和恼火。”

7. 关于高维向量的信息表示能力

   • 主要观点：高维向量可以表示比简单概念更复杂的信息，如完整的诗歌。
   • 引用：
     • "These huge vectors can represent way more complex information than just a billion concepts."
     • “这些巨大的向量可以表示比十亿个概念更复杂的信息。”

8. 关于常数C与概率的关系

   • 主要观点：常数C与成功概率之间的关系不明确，引发困惑。
   • 引用：
     • "Probability should be between 0 and 1, how it relates to C?"
     • “概率应该在0到1之间，它与C有什么关系？”

9. 关于概念的字串表示

   • 主要观点：概念的字串表示被提及，但未展开讨论。
   • 引用：
     • "string representations of concepts"
     • “概念的字串表示”