这篇论文提出，尽管神经网络使用连续向量表示信息，但其内部表征可能隐式地实现了符号结构。研究者通过实验证明，多种神经网络的向量表示可以用符号结构的封闭方程近似替代，且网络行为基本不变，这一发现适用于小型网络和大型语言模型。

现代人工智能系统在那些传统上被认为不适合它们的领域表现出色。传统上，智能被建模为对符号（如逻辑公式）的结构化组合进行操作。然而，当前最强大的人工智能系统基于神经网络，这些网络以连续向量的形式表示信息。向量似乎不足以捕捉语言、逻辑及其他认知领域的结构，但神经网络在这些领域却取得了令人瞩目的成就。它们是如何做到的呢？本文提出了一种可能的答案：尽管表面上看并非如此，但神经网络的内部表征可能隐含地实现了符号结构。为支持这一假设，我们展示了多种神经网络的向量表征可以紧密近似为符号结构：我们可以用封闭形式的方程来替代网络整个表征生成过程，该方程实例化了一种符号结构，而网络的行为基本保持不变。这一发现适用于多种场景，包括训练用于操作列表的小规模神经网络，以及在符号传统中核心的四个领域（算术、逻辑、计算机代码和语言）中运行的大型语言模型。此外，我们的符号近似方法允许我们通过对内部表征进行精确干预，以有针对性的方式修改大型语言模型的行为，这表明大型语言模型的行为依赖于我们所识别的符号结构。这项工作为调和长期存在的符号智能观与现代人工智能基于向量的本质提供了一种潜在途径。

根据评论内容，总结如下：

主要观点与论据：

1. LLM中存在可数学理解的深层符号结构（评分：无）

   • 评论1认为，LLM中可能存在超越表面噪声的深层概念关系模式，可通过数学方式理解。
   • 关键引用："there are possible deeper patterns of representation that exist in LLMs that are distillations of core conceptual relations in grammar"

2. 多维空间的复杂性超出人类认知（评分：无）

   • 评论4指出，从2D到3D已带来巨大变化，而LLM涉及上千维度，人类难以直观理解。
   • 关键引用："The human mind cannot comprehend the capacity of massively multidimensional space"

3. 该方法具有潜在重大应用价值（评分：无）

   • 评论5提出三个关键问题：能否实现高效分析蒸馏？能否作为搜索算法解决新问题？能否推动LLM能力提升？
   • 关键引用："It would be essentially analytic distillation... The implications of that are potentially huge"

4. 神经网络可模拟符号结构（评分：无）

   • 评论6反驳“向量不足以捕捉语言结构”的观点，指出人脑同样没有专门符号处理单元。
   • 关键引用："Our brains are obviously able to contain symbolic structure despite not having a 'symbol processing unit'"

5. 对方法有效性的质疑（评分：无）

   • 评论8指出，监督式可解释性方法可能发现虚假结构，并引用多项批评研究。
   • 关键引用："A big problem with some of these supervised interpretability approaches is that they can find spurious structure"

平衡性总结： - 支持方认为该方法揭示了LLM的深层符号结构，具有分析蒸馏和问题求解的巨大潜力。 - 质疑方指出，类似方法可能发现虚假结构，且当前研究依赖简单符号任务，说服力有限。 - 多数评论认可该方向的重要性，但认为仍处于早期阶段。