文章摘要
文章作者在阅读一篇关于人工智能的文章时,发现其中对矩阵乘法的描述引发了他的不满。这反映了当记者讨论专业话题时,常会出现外行不易察觉但令专业人士不快的错误。作者以大型语言模型训练为例,描述了其中涉及的庞大数据处理和矩阵运算过程。
文章总结
矩阵乘法丑陋吗?
几周前,我正在阅读一篇关于人工智能的精彩文章时,被其中一段关于矩阵乘法的描述激怒了。这篇文章发表在《纽约客》上,作者斯蒂芬·维特(Stephen Witt)在描述大型语言模型如何通过调整权重学习时,突然将矩阵乘法比作“用锤子钉钉子”,并引用数学家G·H·哈代(G. H. Hardy)的名言“丑陋的数学在世界上没有永久地位”,暗示矩阵乘法缺乏美感和对称性,因为“a乘以b不等于b乘以a”。
这种观点让我感到荒谬。矩阵乘法的不交换性(即AB≠BA)并非缺陷,而是其本质特征。就像数字加法中,17+34=51,但71+43≠15一样,顺序的重要性并不意味着操作本身丑陋。矩阵代数是描述对称性和变换的语言,其历史可追溯至两千年前的中国,早已在数学中占据重要地位,并在数论、物理学和人工智能等领域广泛应用。
维特的误解可能源于矩阵乘法的计算过程繁琐,但繁琐不等于丑陋。矩阵乘法的对称性恰恰体现在其规则性上,尽管手工计算可能令人厌倦,但这并不影响其理论的美感。哈代反对的是冗长的计算证明,而非矩阵本身。真正的数学之美在于概念,而非机械的计算。
总之,矩阵乘法不仅不丑陋,反而是数学中最优雅的工具之一,其不交换性恰恰反映了现实世界中变换的顺序重要性。将计算过程的繁琐与数学概念的丑陋混为一谈,是对矩阵代数的误解。
评论总结
评论总结:
1. 矩阵乘法的美学争议
- 支持矩阵乘法之美:认为矩阵乘法如同熟练工匠钉钉子,具有优雅和美感(评论2)。
引用:
"A man hammering a nail into a board can be both beautiful and elegant!"
"a well multiplied matrix is much the same." - 反对美学价值:认为优雅无关紧要,实用性和解决问题能力更重要(评论5)。
引用:
"Elegance is a silly critique... What matters is whether it solves the problems we have."
2. 技术实现与效率问题
- 批评实现方式:矩阵乘法库接口差且性能低下(评论6),或认为当前AI训练中的矩阵乘法不够高效(评论16)。
引用:
"Matrix multiplication libraries are ugly... sometimes both."
"burning gigawatts to compute these matrices... will not scale." - 肯定技术价值:认为矩阵乘法在硬件优化和实际应用(如AI)中展现了技术美感(评论9、13)。
引用:
"I do find it beautiful how you can take matrix multiplication... and get a program that can talk to you."
"Their efficient implementation in GPU hardware... is a work of art."
3. 数学本质与理解争议
- 非交换性解释:矩阵乘法的非交换性(如空间旋转)是其自然属性,与表示方式无关(评论4、8、11)。
引用:
"Rotations in space do not commute... whether you represent them as matrices or not."
"If you turn right then left... you’ll end up at a different spot." - 术语与理解障碍:认为术语(如“乘法”)和类比(如复数)导致混淆(评论18)。
引用:
"maybe the issue boils down to overloading the term 'multiplication'."
4. 主观性与相对性
- 观点无绝对答案:认为美是主观的,取决于视角(评论3、12)。
引用:
"You can both be right. I don't think there is an objective answer."
"Beauty... is 'communication across a gap'... there’s a relative component." - 个人认知局限:承认对矩阵乘法的“丑陋”感受可能源于数学理解不足(评论10)。
引用:
"my finding it ugly is likely a result of my relative mathematical immaturity."
5. 未来与替代方案
- 呼吁技术改进:希望稀疏运算等更高效方法得到推广(评论7)。
引用:
"I’d love for sparse operations to be more widespread." - 质疑可持续性:认为当前矩阵计算不可持续,需转向更高效架构(评论16)。
引用:
"transformers are very elaborate sunk-cost fallacy."
总结:
评论围绕矩阵乘法的美学价值(从工匠技艺到实用主义)、技术实现(效率与硬件优化)、数学本质(非交换性、术语问题)展开,观点两极分化。支持者强调其技术美感与实用性,反对者批评效率低下或资源浪费。多数人认同美是主观的,且当前技术可能存在可持续性挑战。