该研究系统评估了Transformer中QKV投影的三种变体（共享键值、共享查询键、单一投影），发现这些简化方案在视觉和语言任务中性能与标准QKV相当甚至更优。其中Q-K=V结构在语言建模中仅造成3.1%性能下降却减少50%KV缓存，结合GQA/MQA技术最高可减少96.9%缓存，显著提升了设备端推理效率。

《Transformer是否需要三重投影？QKV变体的系统性研究》

这篇发表于ICML 2026的论文（PMLR第306卷）对Transformer中的QKV（查询、键、值）投影机制进行了深入探讨。研究团队通过系统评估三种投影共享方案：a) Q-K=V（键值共享） b) Q=K-V（查询键共享） c) Q=K=V（单一投影），揭示了以下重要发现：

1. 性能表现：在视觉任务（MNIST、CIFAR等）和语言建模（3亿/12亿参数模型）实验中，这些变体模型表现与标准QKV Transformer相当，甚至更优。

2. 内存优化：在语言建模中，Q-K=V方案能减少50%的KV缓存，仅带来3.1%的困惑度下降。结合分组查询注意力（GQA-4）时，缓存减少达87.5%；结合多头查询注意力（MQA）时更可达96.9%。

3. 理论发现：

   • 键值共享有效的原因是二者表征空间相似且注意力在低秩状态下运行
   • 查询键共享会破坏注意力的方向性
   • 通过2D位置编码可解决对称注意力图问题

该研究为注意力机制中的权重共享提供了量化依据，特别适用于边缘设备部署。完整代码已开源。

（注：删减了会议信息、版本历史等非核心内容，保留了关键实验数据和理论发现）

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. 对论文符号规范的批评

• 作者使用"Q-K=V"等非常规数学符号引发困惑 关键引用： "the description 'Q-K=V' does not mean 'Q minus K equals V'" (amluto) "when discussing linear algebra...follow normal conventions" (amluto)

2. 对简化注意力机制的质疑

• 小规模实验可能无法反映真实效果
• 需要更大规模训练验证 关键引用： "simplifications...can look fine in the under-trained regime but lag after over-training" (in-silico) "scaling curves or GTFO...works fine-ish at small scales" (jephs)

3. 对研究价值的肯定

• 这类消融研究本身具有价值
• K=V的简化方案出人意料地有效 关键引用： "These types of ablation studies are always good" (in-silico) "I admit I'm surprised that K=V appears to work as well as it does" (amluto)

4. 对Transformer架构的反思

• 原始Transformer设计可能并非最优
• 存在探索更好机制的空间 关键引用： "the original Transformer authors didn't really know what they were doing" (7e) "there's got to be a better mechanism" (Lerc)

5. 对实践应用的观察

• 其他模型已尝试跨层参数共享 关键引用： "Gemma-4...reuses K-V cache from other layers" (foldl2022)