现代物理学中，高维动力学已成为常态，不仅在弦理论中涉及十维空间，复杂动态系统如种群动力学和机械系统也常在高维状态空间中描述。高维景观中，山脊比山峰更常见，这对生命进化、复杂系统动态和机器学习有深远影响。因此，物理学生需掌握工具以直观理解高维系统的非直观行为，这在快速发展的机器学习领域中尤为重要。

高维空间中的随机漫步

在现代动力学中，高维物理已成为常态。不仅弦理论在十维空间（加上时间维度）中运作，几乎所有复杂的动力系统都在高维状态空间中被描述和分析。例如，种群动力学可能涉及数百甚至数千种不同物种，每个物种的种群随时间变化，定义了高维空间中的独立轴。同样，耦合的机械系统也可能有数百或数千（甚至更多）的自由度，这些自由度在高维相空间中被描述。

在高维空间中，山脊比山峰更为常见，这对生命进化、复杂系统动力学以及机器学习的能力产生了深远影响。因此，随着物理学生越来越多地接触到高维动力学的挑战，构建工具以帮助他们直观理解高维系统的非直观行为变得尤为重要。

在快速发展的机器学习领域，高维空间通常被称为“维度诅咒”。维度诅咒的原因包括：无法可视化超过四维的数据、过多的自由度导致过拟合问题，以及我们对高维空间中几何关系的误解。例如，随机漫步通常从一维开始，逐步扩展到二维和三维，但在复杂系统中，高维随机漫步才是常态。分子进化问题就是一个重要例子，基因组上的每个位点代表一个独立的自由度，分子进化可以被描述为在该空间中的随机漫步，而所有可能的基因突变空间极其庞大。

本文探讨了十维空间中的随机漫步物理。选择十维的原因在于它足够高，无法通过投影有效可视化，且其行为与更高维度相似，同时十维也是计算机内存能够处理的极限。例如，一个十维超立方体在每个维度上有10个离散点，总共有10^10个格点（100亿或10GB），这大约是典型计算机内存的极限。

在十维超晶格中，无约束的随机漫步是简单一维随机漫步的扩展。由于每个维度独立，随机漫步者在每次迭代中沿任意一个维度随机移动。因此，可视化十维随机漫步的一种简单方法是绘制漫步者在每个维度上的位置随时间的变化。

在高维空间中，山脊比山峰更为常见，这对生命进化和机器学习有重要影响。例如，在基因组突变空间中，随机漫步描述了物种的进化过程。高维空间中普遍存在的中性网络使得物种可以在不显著影响生存能力的情况下获得多种突变，同时基因组在“中性网络”中不断漂移，使物种能够访问空间的遥远部分。最终，自然选择可能将物种推向附近（但罕见）的峰值，达到新的平衡。

在机器学习中，尤其是在深度学习领域，高维空间中的中性网络提供了大量逃离局部极小值的机会。尽管可调参数数量庞大，但通过在高维目标景观中添加随机漫步，结合梯度下降，仍然可以找到有意义且具有预测性的通用解。

总之，高维空间中的随机漫步不仅帮助我们理解复杂系统的动力学，还为生命进化和机器学习提供了新的视角。

1. 随机游走的维度选择与方向

   • 评论1指出，随机游走者在每一步选择一个维度（概率为1/10），然后在该维度上选择正或负方向（概率各为1/2），总共有20种可能的移动选择。
   • 引用："at each step, the random walker selects a dimension (with probability 1/10 for any given dimension), and then chooses a direction along that dimension (positive or negative, each with probability 1/2)."

2. 高维随机游走的反直觉行为

   • 评论3提到，高维空间中的随机游走轨迹在进行主成分分析后，大部分方差集中在少数几个方向上，且投影后的轨迹不再是随机的，而是形成Lissajous曲线。
   • 引用："more than half of the variance is along a single direction. More than 80% is along the first two principal components."
   • 引用："if you project the random walk trajectory down into these PCA subspaces they are no longer random at all. Instead the trajectory traces a Lissajous curve."

3. 随机游走与深度学习的关系

   • 评论5讨论了随机游走与深度学习的结合，指出尽管参数数量庞大，但通过随机游走和梯度下降的结合，仍能找到有意义的解。同时，强调了参数数量和架构设计的重要性。
   • 引用："general solutions, that are meaningful and predictive, can be found by adding random walks around the objective landscape as a partial strategy in combination with gradient descent."
   • 引用："the goal isn’t to add more and more parameters, it’s to add just enough so that common features can be identified but not enough to 'memorize the dataset.'"

4. 高维超晶格中的峰值概率

   • 评论4纠正了关于10维超晶格中峰值概率的计算，指出实际概率约为2%，而非18%。
   • 引用："the odds are actually 0.2 (odds of it being a 5) × 0.8^10 (odds of each of the neighbors being ∈ {1,2,3,4}) which is ~0.021 or around 2%."

5. 随机游走的数学定理

   • 评论2提到Polya关于随机游走的定理，区分了低维和高维随机游走的不同行为，并推荐了一个相关视频。
   • 引用："there is a very interesting theorem by Polya about random walks that separate 1 or 2 dimensional random walks from higher dimensional ones."