文章探讨了DeepSeek提出的mHC（超连接）创新架构，与传统Transformer的残差连接设计不同。传统模型采用单一信息流x+F(x)，而mHC引入n个并行流和可学习混合矩阵，拓宽了信息流动路径。这一改变突破了2016年以来的固定设计范式，为模型架构带来新的可能性。

深度求索的mHC：当残差连接爆炸时

引言

几乎所有现代Transformer（如GPT-5、Claude、Llama、Gemini）均采用2016年提出的标准残差连接设计：$x{l+1} = xl + F(x_l)$。这种单信息流的模式简单稳定，但深度求索（DeepSeek）提出了一种更宽的替代方案——超连接（Hyper-Connections, HC），通过并行信息流和可学习的混合矩阵增强表达能力。然而，未约束的HC在放大信号时可能导致指数级爆炸（27B参数下峰值达3000倍）。为此，DeepSeek提出流形约束超连接（mHC），通过双随机矩阵（Doubly Stochastic Matrix）强制稳定性，解决了这一隐患。

核心问题：HC的信号爆炸

• 标准残差连接：保持信号守恒，梯度传播稳定。
• 超连接（HC）：引入三个混合矩阵（$H^{res}$、$H^{pre}$、$H^{post}$）实现多流信息交互，但未约束的矩阵可能逐层放大信号。
• 实验现象：
  • 小规模模型（10M参数）下，HC的放大系数（Amax）达7-9倍，虽可运行但已显现不稳定。
  • 大规模模型（27B参数）中，Amax峰值飙升至3000倍，导致训练崩溃。

解决方案：mHC的双随机约束

DeepSeek通过Sinkhorn-Knopp算法将混合矩阵约束为双随机矩阵（行列和均为1的非负矩阵），确保信息仅被重新分配而非放大：
1. 算法步骤：对权重矩阵指数化→交替行列归一化至收敛（约20次迭代）。
2. 优势：
- 可微分，梯度可反向传播。
- 仅对关键矩阵$H^{res}$应用完整约束，计算成本可控。

实验结果对比

1. 稳定性：
   • HC的验证损失波动大（±0.033），Amax方差显著（6.1-7.6）。
   • mHC的Amax恒为1.0，零方差。
2. 性能权衡：
   • 小规模下，HC性能更优（验证损失0.88 vs mHC的1.12），但mHC以轻微性能代价换取稳定性。
   • 深度实验中，HC的Amax与深度无明确关系，呈现混沌性（如20层时达9.2倍）。

意义与启示

• 残差连接的本质：类似物理守恒定律，标准设计因稳定性得以长期沿用。
• 约束的价值：mHC通过数学保证而非学习实现稳定，为大规模模型提供可靠基础。
• 工程教训：初始实现曾因架构错误（误压缩并行流）失效，凸显设计审查的重要性。

后续计划

• Part 1（本文）：小规模验证HC爆炸与mHC稳定性。
• Part 2：扩展至1B参数，逼近真实爆炸阈值（如3000x Amax），代码将同步公开。

相关资源：
- 论文：《Manifold-Constrained Hyper-Connections》
- 残差连接奠基研究：He et al., 2016

（注：本文为系列第一部分，第二部分将探讨更大规模下的不稳定性。）

以下是评论内容的总结，涵盖主要观点和关键引用：

1. 架构复现与发现

   • 作者成功复现了DeepSeek论文中的mHC架构，发现无约束超连接（Unconstrained Hyper-Connections）在1000万规模下会导致7倍的放大效应，并遇到"stream persistence"的bug。
     引用：
     "Unconstrained Hyper-Connections really do explode (7x amplification even at 10M scale)."
     "I hit a nasty 'stream persistence' bug where my tensors were the right shape, but the architecture was functionally broken."

2. 架构的潜力与疑问

   • 有评论者质疑为何这种高效架构未在更多LLM中应用，认为其上下文效率可能带来显著成本优势。
     引用：
     "Why isn’t this architecture more common in other LLMs? The context efficiency is amazing, after all - doesn’t that translate to a lot of money at scale?"

3. 技术实现与工具

   • 评论者对残差连接的可视化工具和实现细节感兴趣。
     引用：
     "Is the animated svg manually created or programmatically generated? What tools did you use?"

4. 相关技术比较

   • 有评论者指出Gemma 3n已采用类似的低秩残差投影技术（LAuReL），但未广泛宣传。
     引用：
     "Gemma 3n is also using a low-rank projection of the residual stream called LAuReL."

5. 小规模实验反馈

   • 有小规模实验（800万参数）显示中性结果，但评论者认为mHC可能在大规模模型中更有效。
     引用：
     "I implemented this for a toy 8M ViT-style model. Got neutral results... I think mHC will help with larger parameter sizes."

6. 内容评价与建议

   • 评论者赞赏文章的清晰度和图表，认为其易于理解，并希望作者继续撰写类似文章。
     引用：
     "Between the clear writing and the diagrams, this was a great write up... I hope you do more write ups like this in the future."

7. 技术优化讨论

   • 有评论者建议省略Hres（单位矩阵或直接不用），认为Hpre和Hpost可弥补表达能力的损失。
     *引用*：
     "Why can't you just leave Hres as the identity matrix... you don't need to worry about exploding/vanishing gradients from H_res."

8. 多通道残差连接的疑问

   • 评论者质疑为何需要多个独立残差连接的通道，而非直接拼接通道后统一处理。
     引用：
     "What's the advantage of having multiple channels with separate residual connections? Why not just concatenate those channels?"

总结：评论围绕mHC架构的复现效果、潜在优势、技术细节、相关技术比较及优化建议展开，多数反馈积极，但也提出实际应用中的疑问和小规模实验的局限性。