扩散语言模型(DLMs)通过迭代优化掩码序列实现并行文本生成，比自回归模型效率更高。但传统DLMs存在双向注意力计算开销大和迭代步骤多的问题。新提出的CDLM模型通过一致性蒸馏技术，在保持生成质量的同时将推理速度提升14倍，解决了传统DLMs的两大效率瓶颈。

一致性扩散语言模型：推理速度提升14倍且无损质量

扩散语言模型(DLMs)正逐渐成为自回归(AR)语言模型的有力替代方案。与逐词生成不同，DLMs通过多步迭代精修掩码序列，将完全掩码的文本逐步转化为清晰内容。这种机制支持并行生成，有望实现更高吞吐量，同时能利用双向上下文实现文本填充等新功能。

实践挑战： 1. 全双向注意力导致KV缓存失效，需重复计算完整上下文注意力 2. 高质量生成需要大量精修步骤，通常与生成长度相当

CDLM创新方案： 通过三阶段训练方法突破瓶颈： 1. 轨迹收集：在256长度文本上记录教师模型的32词块解码轨迹 2. 块因果学生模型：采用块状因果注意力掩码，支持精确的KV块缓存 3. 三目标联合训练： - 蒸馏损失（新解掩位置） - 一致性损失（保持掩码位置） - 辅助掩码去噪损失

核心优势： • 在GSM8K数学推理和MBPP编程任务中实现4.1-7.7倍步骤缩减 • 延迟降低最高达14.5倍 • 保持94%以上的原始模型准确率

系统优化原理： 块状扩散模型在算术强度(AI)上取得平衡： - 小批次处理时AI达8.7（AR模型仅1.2） - 通过32词块内并行处理，内存访问效率提升6倍

未来展望： 该训练方案可应用于任何块扩散模型，随着基础DLMs增强，其优势将进一步放大。研究团队建议采用更强教师模型生成轨迹，训练中等规模学生模型。

（注：原文中的7张配图及3篇参考文献引注因技术细节过载未予保留，主要数据结论已整合至正文）

以下是评论内容的总结：

1. 对技术突破的期待

   • 多位评论者期待扩散模型在速度上的突破，认为这将改变游戏规则
     "If this means there’s a 2x-7x speed up...that’ll be a game changer"
     "I wish there would be more of this research to speed things up"

2. 实际应用可行性担忧

   • 评论者质疑当前扩散模型在普通硬件上的实用性
     "Is anyone doing...that are actually practical to run today on the actual machine under my desk?"
     "Can't wait for the day I can actually try a diffusion model on my own machine"

3. 与其他技术的比较

   • 有评论者将扩散模型与自回归模型进行对比，认为前者在某些领域更有优势
     "I think diffusion makes much more sense than auto-regressive specifically in code generation"
     "Wonder why they haven't rolled out a GPT40 scaled version of this yet"

4. 开源与可获取性

   • 部分用户关注模型的开源情况和实际可用性
     "Is this available as open source anywhere to try?"
     "I've not heard anything since then" (关于Gemini Diffusion模型)

5. 技术细节讨论

   • 少数评论涉及具体技术方法的讨论
     "feels reminiscent of DINO training"
     "wonder if...SigREG regularization research might be relevant"

6. 行业竞争观察

   • 有评论注意到同类产品的竞争
     "Releasing this on the same day as Taalas's...must hurt!"