文章摘要
文章指出，谷歌DeepMind推出的Gemini Diffusion模型采用扩散方法生成文本，不同于传统GPT逐词生成方式。作者发现离散语言扩散本质上是掩码语言建模(MLM)的泛化，并尝试微调BERT类模型进行文本生成。后发现有论文已实现类似思路(DiffusionBERT)，验证了这种方法的可行性。
文章总结
标题：BERT本质上是单步文本扩散模型
文章核心内容：
- 背景与发现
- Google DeepMind推出的Gemini Diffusion模型采用扩散方法生成文本，与传统GPT逐词生成方式不同
- 研究发现离散语言扩散本质上是掩码语言建模(MLM)的泛化形式，而BERT等模型自2018年起就使用MLM
- 模型发展历程
- 2017年原始Transformer采用编码器-解码器架构
- 2018年分化为：
- BERT式编码器模型（双向，擅长分类/检索）
- GPT式解码器模型（自回归，擅长生成任务）
- 文本扩散原理
- 借鉴图像扩散模型的噪声添加/去除过程
- 文本扩散采用掩码噪声：
- 前向过程：逐步增加掩码比例（0%→100%）
- 反向过程：模型预测被掩码的原始token
- BERT的MLM本质上是固定掩码率的文本扩散
- RoBERTa扩散实验
- 使用HuggingFace工具对RoBERTa进行微调
- 创新点：
- 采用10步扩散（掩码率从100%逐步降至10%）
- 保留前16个token作为生成条件
- 生成效果：
- 能产出连贯文本（尽管存在WikiText格式特征）
- 与GPT-2相比质量稍逊但验证了概念可行性
- 结论
- 通过将可变掩码率解释为离散扩散过程，可将BERT类模型转化为生成引擎
- 无需架构修改，仅调整训练目标即可实现文本生成
- 证明BERT本质是单掩码率训练的文本扩散模型
（注：省略了具体代码实现细节和部分技术性描述，保留了核心概念和实验发现）
评论总结
这篇评论主要围绕文本扩散模型与掩码语言模型(MLM)的相似性展开讨论，观点可分为三类：
- 支持两者相似性的观点：
- "Very cool parallel. Never thought about it this way — but makes complete sense"（schopra909）
- "It's more like diffusers are multi step denoising auto encoders. this has been known since the second BERT came out"（make3）
- 探讨技术细节的观点：
- 认为文本扩散需要学习用正确token替换错误token，但构造错误token很困难（zaptrem）
- 指出这种关联最早在2021年论文中被提出，并溯源到2019年的生成式MLM研究（jaaustin）
- 其他延伸观点：
- 对与ELECTRA模型的比较感兴趣（alansaber）
- 认为扩散模型更接近人类大脑处理语言的方式，是"从模糊概念到语言序列"的过程（kibwen）
总体来看，评论者普遍认可文本扩散与MLM的相似性，但对其具体实现方式和历史渊源存在不同见解。部分评论还延伸讨论了与其他模型的比较及认知科学层面的意义。