该文章提出了一种名为“Native Sparse Attention”的新型稀疏注意力机制，该机制与硬件对齐且可原生训练，旨在提高计算效率并优化模型性能。

标题：原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制

主要内容： 长上下文建模对于下一代语言模型至关重要，但标准注意力机制的高计算成本带来了显著的挑战。稀疏注意力为提高效率同时保持模型能力提供了有前景的方向。本文提出了一种名为NSA（Natively trained Sparse Attention）的机制，通过将算法创新与硬件对齐的优化相结合，实现了高效的长上下文建模。NSA采用动态分层稀疏策略，结合粗粒度的令牌压缩和细粒度的令牌选择，以保持全局上下文感知和局部精度。

NSA的两大创新点包括： 1. 通过算术强度平衡的算法设计，结合现代硬件的优化实现，显著提升了速度。 2. 支持端到端训练，减少了预训练的计算量，同时不牺牲模型性能。

实验表明，使用NSA预训练的模型在通用基准测试、长上下文任务和基于指令的推理中，表现与全注意力模型相当甚至更好。此外，NSA在处理64k长度序列时，在解码、前向传播和后向传播等环节均实现了显著的速度提升，验证了其在模型生命周期中的高效性。

发表信息： 本文发表于2025年7月，收录于第63届计算语言学协会年会（ACL）的长论文集中，会议地点为奥地利维也纳。

1. 关于稀疏注意力技术的正面评价：

   • 评论1指出，该研究首次将原生稀疏注意力引入完整训练过程，实现了高达11倍的推理加速，同时保持了模型性能。
     • 引用："For the first time, it introduced native sparse attention into the full training process, achieving up to 11× inference speedup while maintaining model performance."
   • 评论2强调，尽管是稀疏的，NSA在多个基准测试中超越了全注意力基线，且没有性能损失。
     • 引用："Despite being sparse, NSA surpasses Full Attention baseline on average across general benchmarks, long-context tasks, and reasoning evaluation."

2. 关于论文标题的争议：

   • 评论3提到，ACL的奖项页面似乎与编辑后的标题不一致，暗示标题可能存在问题。
     • 引用："The awards page for ACL seems to disagree with this editorialized title."
   • 评论4则幽默地列出了其他几个有趣的标题，暗示该论文的标题并不特别突出。
     • 引用："I'd say award for best title is a tie between: 'Dehumanizing Machines: Mitigating Anthropomorphic Behaviors in Text Generation Systems'; 'Finding Needles in Images: Can Multi-modal LLMs Locate Fine Details?'; and 'Steering off Course: Reliability Challenges in Steering Language Models.'"

3. 关于DeepSeek论文的讨论：

   • 评论6认为，DeepSeek的论文对于理解如何让LLM在超大规模下运行至关重要，并推测主要实验室在发布后迅速阅读并实施了这些论文中的内容。
     • 引用："Deep seek papers are a must to read for anyone who wants to understand how to make LLMs operate at hyper scale."
     • 引用："I have a suspicion with how quiet all the major players got after the two weeks after deepseek R1 was released that they were reading and implementing everything in the papers that came with it as fast as humanly possible."

4. 其他简短评价：

   • 评论5简短地表示“实至名归”，表达了对该研究的认可。
     • 引用："Well deserved"
   • 评论7则提供了已发表论文的链接，建议更新链接。
     • 引用："Link to the published paper rather than the preprint (update link?)"