近期连续扩散语言模型研究重新活跃，此前离散扩散方法曾取代连续方法。本文探讨这一转变的原因，回顾历史背景，并分析连续扩散在语言建模中的技术进展。

好的，作为一名专业的中文编辑，我将对您提供的英文文章进行中文重述。我会保留核心细节和关键论点，同时删减与主题无关的个人轶事、冗长的致谢和部分技术性过强的细节，使文章更精炼、重点更突出。

文章核心内容重述：连续扩散语言模型的复兴

标题： 连续扩散语言模型的复兴

核心观点： 沉寂数年后，用于语言的连续扩散模型近期研究活动激增，标志着该方法的强势回归。此前，完全离散的扩散方法几乎完全取代了早期的连续扩散尝试，但这一趋势正在逆转。本文旨在深入探讨这一现象及其背后的原因。

一、挑战自回归模型的统治地位

现代语言模型大多基于自回归架构，即逐个生成token。尽管Transformer架构通过教师强制实现了高效的并行训练，但自回归并非构建序列迭代生成过程的唯一途径。

受音视频领域早期成功的启发，研究人员尝试将扩散模型应用于语言生成。扩散模型通过逆转一个逐渐破坏信息的加噪过程来生成序列。

• 2021年：早期离散扩散模型。最初的语言扩散尝试采用离散加噪过程来建模分类数据，如多项扩散、D3PM和SUNDAE。当时，离散扩散似乎解决了自回归范式的一些理论缺陷，如教师强制导致的曝光偏差。

• 2022年：针对离散数据的连续扩散。以Diffusion-LM为代表，该方法通过将离散类别映射到连续的嵌入向量，使高斯噪声加噪得以应用，从而直接沿用图像领域成功的连续扩散机制。这种方法在可控文本生成方面展现出优势，随后涌现了DiffuSeq、SSD-LM、SED、CDCD等一系列相关研究。当时，连续方法的吸引力在于可以借鉴连续扩散领域的所有工具和洞见。

• 2023年末：连续扩散的“灭绝”。此后，几乎所有新研究都转向了离散扩散，连续扩散在语言领域几乎销声匿迹。原因可能包括：ChatGPT的出现使研究焦点转向了与强大自回归模型在规模上的性能比拼，而离散方法被认为更易缩小差距；同时，对扩散语言模型扩展性的初步研究表明，连续方法（如Plaid-1B）的训练效率比自回归基线低64倍，这在当时注重训练效率的社区中难以被接受。

二、将连续扩散应用于离散数据的关键要素

要使连续扩散在分类数据上良好运行，需要几个关键要素：

1. 嵌入策略：将离散token映射到连续空间。主要策略包括：

   • 显式嵌入：如独热编码，但词汇量过大时不便。
   • 预训练嵌入：借用自回归或BERT等模型训练好的嵌入。
   • 联合学习嵌入：与去噪器模型一起训练，但易导致嵌入坍塌或失控增长。嵌入空间的几何结构被认为很重要，有意义的语义结构有助于扩散建模。

2. 损失函数：

   • 均方误差：当去噪器直接在连续空间预测时使用。
   • 分类交叉熵：当去噪器输出词汇概率时使用，更接近自回归设置。
   • 似然下界：借鉴变分自编码器的方法。

3. 噪声调度：对于连续扩散语言模型至关重要。由于嵌入是高维向量，有意义的加噪仅发生在较窄的噪声范围内。常见的策略是自适应噪声调度，根据模型预测动态调整，使训练聚焦于信息量最大的噪声水平，实现熵的线性化。

4. 自条件化：将去噪器上一步的预测作为额外输入传递给下一步。这能显著提升性能，几乎是所有连续扩散语言模型的标准配置。其成功原因可能在于，它近似于一个嵌套在扩散模型中的不动点模型。

三、近期的复兴

2023年后，离散扩散（特别是掩码扩散和均匀状态扩散）成为主流。但自2025年下半年起，连续方法开始复兴。

• 2025年：混合方法。研究人员开始尝试结合离散和连续方法，如利用扩散对偶性，或通过联合扩散、时间失调等方案，在保持离散范式优势的同时引入连续特性。

• 2026年：连续扩散的强势回归。流映射框架的发展是关键驱动力。流映射试图用尽可能少的步骤直接逼近扩散采样的输出。基于此，分类流映射、流映射语言模型和离散流映射等工作将流映射扩展到离散分类设置。随后，一系列论文涌现，对早期连续扩散语言模型配方进行了现代化改进和扩展，如LangFlow、Spherical flows、Latent diffusion language models等。这些工作声称，此前关于离散扩散在规模上更优的共识是错误的。

为何是现在？为何是连续方法？

• 连续方法变得更简单：现代解释（如流匹配）降低了入门门槛。
• 经济价值驱动：寻找更快、更灵活的语言模型具有巨大商业价值。
• 离散扩散的蒸馏瓶颈：离散扩散在减少采样步数时，会面临条件独立性假设的墙，即同时采样的token被假定为条件独立。连续方法则天然地规避了这个问题，其可蒸馏性优势是复兴的主要原因。步数蒸馏不仅加速了采样，还解锁了基于奖励的微调等新可能性。

四、未来展望

• 离散扩散并未过时。它仍在发展，如DiffusionGemma和Nemotron Diffusion等模型的发布，以及其在推测解码中作为草稿模型的应用。
• 评估方法亟待标准化。扩散模型在采样时灵活的质量-多样性权衡，若不被仔细量化，可能导致误导性的结果。当前常用的“生成困惑度”指标也存在偏见。
• 潜在扩散是另一个令人兴奋的方向，即学习更高级、更粗粒度的语言连续表示，但学习语言潜在空间本身仍是巨大挑战。

总结：

• 连续扩散语言模型已强势回归，主要归功于其可蒸馏性优势。
• 当前研究热情高涨，但尚未形成统一的配方，研究前景广阔。
• 此前关于离散扩散在规模上更优的共识正在瓦解。
• 解决评估方法问题是该领域持续被严肃对待的关键。

根据评论内容，总结如下：

主要观点与论据：

1. 对“Attention is all you need”的质疑：评论1认为该标题应改为“Attention is sufficient but not necessary”，暗示注意力机制虽有效但非唯一关键。

2. 自回归模型的优势与局限：评论3指出，自回归模型在2020年已主导聊天领域（如GPT-2、GPT-3），但真正突破来自RLHF等后训练技术，而非扩散模型。关键引用：“Decoders were absolutely dominant in 2020 for chat”和“Post training was what made the bots conversational”。

3. 扩散模型的潜力与挑战：评论5、7、9看好扩散模型（CDLMs）在文本生成中的平滑性和创造性，但评论3认为其“更复杂且未解决分布问题”。关键引用：“Diffusion models for language felt inevitable”和“CDLMs sound promising for smoother, more coherent text generation”。

4. 技术路线争议：评论10提出阴谋论，认为前沿实验室内部使用连续扩散模型，但公开推广离散扩散以误导竞争。关键引用：“Frontier labs were trying to bury it with discrete diffusion distraction”。

平衡性总结：评论对自回归模型（如GPT系列）的当前主导地位基本认可，但对扩散模型的前景存在分歧——部分人期待其突破，另一部分人认为其复杂性阻碍应用。同时，有评论指出后训练（如RLHF）才是关键创新，而非模型架构本身。