谷歌发布Gemma 4的量化感知训练(QAT)优化模型，通过训练时模拟量化过程，减少模型压缩时的质量损失，使模型能更高效地运行在移动设备和消费级GPU上。此次更新包含Q4_0量化格式检查点及专为移动设备设计的新量化格式。

标题：Gemma 4 QAT模型发布：优化移动端与笔记本的模型压缩效率

主要内容：

谷歌在发布Gemma 4两个月后，持续扩展其功能，包括推出多令牌预测（MTP）加速推理，以及发布12B模型填补E4B和26B MOE模型之间的空白。此次，谷歌进一步推出经过量化感知训练（QAT）优化的新模型检查点，旨在提升Gemma 4的效率，使其能够在普通边缘设备和消费级GPU上本地运行。

关键细节：

1. 量化感知训练（QAT）的优势

   • QAT通过在训练中模拟量化过程，显著减少模型压缩时的质量损失。
   • 此次发布支持Q4_0量化格式和专为移动端设计的新型量化格式，其中移动格式将Gemma 4 E2B的内存占用压缩至1GB。

2. 模型压缩与质量平衡

   • 相比传统的训练后量化（PTQ），QAT直接在训练中集成量化，进一步提升了模型质量。
   • 针对移动设备，设计了特殊的量化方案，包括静态激活、通道级量化、目标2比特量化以及对嵌入层和KV缓存的优化。

3. 移动端优化技术

   • 静态激活：预计算数据缩放设置，减少移动芯片负载。
   • 通道级量化：适配移动加速器设计，提升计算效率。
   • 2比特量化：对生成令牌的部分进行高压缩，同时保留核心推理层的高精度。
   • 嵌入与KV缓存优化：压缩词汇表和短期记忆，显著降低内存占用。

4. 开发者资源

   • 模型权重已在Hugging Face发布，支持GGUF格式（适配llama.cpp）和vLLM的压缩张量。
   • 提供文档指导，支持通过Ollama、LM Studio等工具本地运行，或通过LiteRT-LM和Transformers.js部署到边缘设备和网页端。
   • 开发者还可利用SGLang、vLLM、MLX等工具进一步优化模型，或直接通过Hugging Face Transformers和Unsloth进行微调。

谷歌期待看到开发者在本地运行Gemma 4的创新应用！

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. 关于模型发布与兼容性问题

   • minimaxir指出Gemma 4 12B的发布顺序混乱，量化版本（Q4_0）虽符合16GB内存要求，但官方macOS工具却错误标记为不支持。
     引用:
     "only the quantized version will do so"
     "Google should fix that"

2. 量化模型性能与实用性

   • satvikpendem和netdur肯定Unsloth量化模型的高精度和手机端适用性，接近原始BF16模型表现。
     引用:
     "Unsloth's quants are better than Google's QAT"
     "The E4B model doesn’t fit on my phone TPU... QAT version means more accuracy"
   • redox99则批评小模型（E2B/E4B）实用性有限，缺乏联网能力导致事实性不足。
     引用:
     "too dumb to be useful outside of niche use cases"
     "can’t run web searches... limited in use"

3. 技术细节与用户实践

   • simonw展示量化模型在Mac本地运行的多模态能力（图像/音频处理），尽管输出质量一般。
     引用:
     "It can handle audio and image input... for a 3.2GB model"
     "the pelican is rubbish... but valid SVG is impressive"
   • somewhatrandom9探讨量化模型是否可加速MTP技术。

4. 其他反馈

   • refulgentis指出官方博客与实际情况不符（缺少GGUF文件）。
   • cr3cr3误将QAT理解为英特尔技术，反映命名可能引发混淆。

争议点集中在量化模型的实际价值（高效 vs 能力有限）和官方支持不足（兼容性错误、文档缺失）。支持者强调其轻量化和高精度，反对者则认为小模型功能残缺。