注意力机制通过让模型选择性地关注重要上下文词汇，解决了自回归模型中预测未来词汇时上下文词汇贡献不均的问题。从多头注意力到潜在注意力的演变，进一步提升了模型对词汇关系的理解和捕捉能力。

从多头注意力到潜在注意力：注意力机制的演进

在自回归模型中，未来词汇的预测基于先前的上下文。然而，并非所有上下文中的词汇对预测的贡献都相同，某些词汇可能比其他词汇更为相关。注意力机制通过让模型在生成每个输出词汇时，选择性地关注重要的上下文词汇来解决这一问题。例如，在句子“动物没有过马路，因为它太累了”中，代词“它”可能指代“动物”或“马路”。注意力机制通过权衡每个词汇的相对重要性，帮助模型将“它”与“动物”关联起来，从而理解词汇之间的关系并捕捉上下文含义。

注意力机制的计算方式

目前有多种注意力机制，最早的是多头注意力（MHA），它首次在《Attention is All You Need》论文中提出。近年来，更先进的变体如多头潜在注意力（MHLA）被应用于Deepseek等模型中。本文将探讨每种注意力机制的核心概念、优势和局限性。

注意力机制的关键概念

在深入具体类型的注意力机制之前，我们需要理解支撑所有注意力机制的基本概念。注意力机制的核心思想是动态权衡并聚焦于输入的相关部分。注意力在编码和解码阶段都是必需的，但本文主要从解码器的角度进行讨论。

在每个生成步骤中，我们需要理解注意力权重，这些权重有助于为下一个词汇预测提供更好的上下文表示。注意力机制通过三个基本组件——查询（Query）、键（Key）和值（Value）——与注意力分数一起工作，创建灵活且上下文感知的向量表示。

• 查询（Q）：表示当前词汇的向量，模型希望为其计算注意力。
• 键（K）：表示上下文中元素的向量，查询向量与之比较以确定相关性。
• 注意力分数：使用查询和键向量计算，确定每个上下文词汇的注意力权重。
• 值（V）：表示实际上下文信息的向量。在计算注意力分数后，这些分数应用于值向量以得到最终的上下文向量。
• KV缓存：由于键和值向量是针对先前词汇的，我们可以跳过已经计算过的词汇。KV缓存存储先前计算的键和值，通过重用缓存向量加速自回归模型的解码。然而，查询向量无法缓存，因为它们是针对当前词汇计算的。

尽管所有注意力机制的高层概念一致，但关键区别在于它们如何在不影响性能的情况下高效执行注意力过程。创新主要集中在计算速度、减少内存使用、提高长序列的可扩展性等方面。

多头注意力（MHA）

在多头注意力中，计算第i个词汇的注意力权重时，首先为该词汇计算查询向量。然后，将该查询向量与所有先前词汇的键向量进行比较，生成注意力分数，并使用相应的值向量为每个词汇生成加权分数。在多头注意力中，这一过程在多个注意力“头”中并行重复，每个头都有自己的查询、键和值向量。最终输出上下文向量是所有注意力头的拼接结果。

然而，随着上下文增长，键和值向量的数量急剧增加，因为需要为所有上下文词汇计算和存储这些向量。对于长度为n的序列，每个查询向量必须与所有n个键向量进行比较，并使用n个值向量进行加权组合，导致计算和内存的二次复杂度。

多查询注意力（MQA）

MHA的一个主要挑战是存储和处理每个注意力头的单独键和值向量带来的高计算和内存开销。MQA通过使用多个查询头但在所有头之间共享一组键和值向量来解决这一问题。这种方法大大减少了内存带宽需求，而不会显著牺牲模型性能。

分组查询注意力（GQA）

GQA在MHA和MQA之间提供了一个平衡。传统MHA由于每个查询头的单独键值向量而需要大量内存和计算开销，而MQA通过共享键值向量减少了计算成本和内存，但可能影响模型性能。GQA将查询头分为“g”组，每组共享一个键和值头，从而在减少内存和计算需求的同时，保留比MQA更好的性能。

多头潜在注意力（MHLA）

尽管GQA比MQA表现更好，但在某些复杂任务中可能仍无法与MHA匹敌。MHLA是最近在Deepseek等模型中引入的变压器架构创新，其主要目标是在不损失模型性能的情况下，显著减少内存使用并加速推理，特别是对于大型语言模型（LLM）。

MHLA通过将键和值表示压缩到更小的潜在空间来解决高内存使用和慢推理的挑战。具体来说，MHLA应用线性变换将这些向量投影到低维空间，从而在推理时减少内存开销。

结论

除了上述讨论的主题外，还有许多创新方法旨在优化传统注意力技术的挑战，如稀疏注意力、高效注意力、记忆增强注意力等。这些方法反映了当前研究的重点，即让注意力机制更具可扩展性、更快且适应各种任务和需求。

评论1（评分：无，作者：mrtesthah）主要质疑这些技术是否真的应用于所谓的“前沿”模型中。关键引用：“Do we know if any of these techniques are actually used in the so-called 'frontier' models?”（我们是否知道这些技术是否真的应用于所谓的“前沿”模型中？）

评论2（评分：无，作者：JSR_FDED）询问是否有方法无需注册即可阅读内容。关键引用：“Any way to read this without making an account?”（有没有办法不用注册就能阅读这个？）

评论3（评分：无，作者：attogram）对论文标题“Attention Is All You Need”的随意和吸引力表示好奇，猜测作者是否预见到其将成为开创性并被广泛引用的作品。关键引用：“I've always wondered if the authors of that paper used such a casual and catchy title because they knew it would be groundbreaking and massively cited in the future....”（我一直想知道那篇论文的作者是否因为预见到它将成为开创性并被广泛引用的作品，所以才用了这么随意和吸引人的标题....）