这篇文章探讨了在Qwen2-72B模型中发现的RYS（重复中间层）方法是否适用于现代更强模型。通过大量实验验证，作者确认层重组技术具有普适性，并发布了扫描代码和新模型。研究涉及3024个候选方案和200万次配置评估，表明该方法可能揭示了Transformer架构的通用特性。

大型语言模型神经解剖学II：现代LLM优化技术与通用语言线索？

核心发现

1. RYS方法验证
   通过复制Qwen3.5-27B模型的中间层（无需权重调整或训练），证实了"自我重复"（RYS）技术能显著提升模型性能。最佳单区块配置(24,35)增加11层（17.19%计算量），数学和EQ基准分别提升0.1203和0.0900。

2. 三阶段处理结构

   • 编码阶段（0-5层）：快速统一不同语言输入
   • 推理阶段（10-50层）：内容相似度高于语言相似度（跨语言同内容相似度0.920 vs 同语言不同内容0.882）
   • 解码阶段（55-64层）：重新分化回语言特定形式

3. 效率边界
   帕累托前沿分析显示，紧凑的连续区块（如仅重复33层）能以1.56%计算量换取94.5%的EQ增益，而复杂组合方案收益递减。

方法论突破

• 200万配置扫描：通过代理模型快速评估候选方案
• 双阶段验证：先用16题探针快速筛选，再用120数学题+140EQ场景严格验证
• 开源工具：发布完整扫描代码库（含热图生成、模型构建脚本）

实践应用

已发布四个优化模型变体： - S型（1层重复）：极致性价比
- XL型（8层重复）：最大绝对性能提升
- 支持权重共享技术，额外计算成本仅来自前向传播

理论意义

证实Transformer存在跨模型的通用推理电路结构，其边界位置因模型而异，但"编码-推理-解码"的三段式架构具有普适性。该发现为模型优化提供了独立于微调的新维度。

引用格式：
Ng D N. (2026). LLM Neuroanatomy II: Modern LLM Hacking and hints of a Universal Language?. https://dnhkng.github.io/posts/rys-ii/

以下是评论内容的总结：

1. 研究发现的核心观点

   • 作者最惊讶的发现是：经过大量搜索和评估，最优配置都是简单的连续块重复（如"重复31-33层"），而非复杂组合。这表明Transformer内部计算的组织方式具有连贯性。
     引用：
     "the Pareto-optimal configs were all simple contiguous blocks... Just 'repeat layers 31–33'"
     "The mid-stack reasoning circuits are coherent enough that you can loop through them twice"

2. 语言无关的"思维空间"

   • 实验显示，不同语言（如英语、中文、Base64）在模型中层（约第10层后）的表示高度相似，表明模型更关注内容而非语言形式。
     引用：
     "by layer 10, cross-language same-content pairs are more similar than same-language different-content pairs"
     "The model cares about what you're saying, not what language you're saying it in"

3. 技术应用与影响

   • 可能显著优化中小规模模型（如4B-14B参数）的部署效率，尤其适合边缘设备。
   • 重复层设计节省内存，与量化技术互补。
     引用：
     "Could have big impact on smaller models in the 4B-14B range"
     "a repeated layer... takes up no extra memory -- and therefore works well on the edge"

4. 类比与理论延伸

   • 与卷积神经网络（CNN）的早期层学习基函数类似，Transformer可能构建了通用的语言表示空间。
   • 有评论者联想到人类语言学习天才的案例，推测AI可能揭示抽象认知模式。
     引用：
     "suggests something similar is going on with early layers transforming to... universal language representation"
     "LLMs... might shed light on such kind of abstractions"

5. 开放问题与验证需求

   • 结果的可复现性、多次重复层的效果、以及如何直接输出"通用语言"的推理上下文仍需探索。
     引用：
     "How's the reproducibility of the results?"
     "how close we are to outputting the universal language into it's own reasoning context"

不同观点平衡呈现，既有技术细节讨论（如层重复机制），也有宏观影响分析（如边缘计算优化），同时包含理论类比和未解问题。