Qwen3.8-Flash-Next是Qwen4架构的早期预览版，在注意力、残差、嵌入和优化四方面进行了系统性升级，旨在提升模型能力的同时优化计算效率、模型容量和训练稳定性。

好的，这是根据您的要求，对原文主要内容进行的中文重述，已保留关键细节并删减了与主题无关的内容（如具体的API调用代码示例、与各框架集成的详细配置等）。

标题：Qwen3.8-Flash-Next：全新架构，迈向极致性价比

核心摘要：

Qwen3.8-Flash-Next 是一个多模态MoE（混合专家）模型，其权重现已开源。该模型是下一代架构的早期预览版，该架构将用于未来的Qwen4系列。它在注意力机制、残差连接、嵌入层和优化器四个方面进行了系统性升级，旨在提升模型能力的同时，进一步优化计算效率、模型容量和训练稳定性。

主要架构创新：

1. 注意力机制：GDN + QSA 混合架构

   • GDN（门控Delta网络）：高效压缩历史信息。
   • QSA（Qwen稀疏注意力）：通过一个轻量级索引器，以微块（micro-block）粒度选择重要上下文，大幅降低长序列下的注意力计算成本。简单来说，GDN负责高效“记忆”，QSA负责精准“检索”。在100万token的上下文长度下，QSA的注意力核在预填充和解码阶段分别实现了最高7.6倍和4.9倍的加速。

2. 残差连接：门控残差（GR）

   • 将传统的单条残差流扩展为4条并行分支，并通过动态门控机制控制每条分支的读写量。
   • 这增强了跨层信息流动和训练稳定性，并有效抑制了激活值异常。残差状态支持FP8存储，进一步减少了内存访问开销。

3. 嵌入层：N-gram 嵌入

   • 不同于标准嵌入层仅基于单个token进行查找，N-gram嵌入利用当前token及其前几个token组成的局部上下文进行查找，为常见短语和局部模式提供额外表示。
   • 其核心优势在于，能以极小的单token计算代价增加大量参数。Qwen3.8-Flash-Next额外引入了510亿个N-gram嵌入参数，这些参数可以存储在主机内存中，并通过异步预取与模型计算并行进行，不永久占用GPU显存。

4. 优化器：Muon 优化器

   • 采用Muon优化器，并在正交化精度、Muon与AdamW的参数分工、融合参数矩阵拆分三个关键方面进行了改进。
   • 为适配新架构和优化器，团队重新拟合了缩放定律（Scaling Law），发现模型可以稳定使用更大的学习率和批次大小，并且不再需要批次大小预热（Batch Size Warmup），直接使用目标批次大小即可。

模型规格与性能：

• 参数规模：主模型1250亿参数，外加510亿N-gram嵌入参数，每个token激活60亿参数。
• 上下文长度：原生支持262,144个token，可通过YaRN扩展至1,000,000个token。
• 成本优势：与Qwen3.7-Plus相比，训练成本仅为其约九分之一，但在编程和办公任务上展现出更优的能力。
• 性能表现：在多项基准测试中，Qwen3.8-Flash-Next（基础模型）在仅激活60亿参数的情况下，在MMLU-Pro、SuperGPQA、BBH、GSM8K、EvalPlus、SWE-bench等14项基准测试中的8项上取得了最佳成绩，并在其他多项测试中与激活170亿参数的Qwen3.7-Plus-Base表现接近。

总结：

Qwen3.8-Flash-Next 在Qwen3-Next引入的混合架构基础上，从注意力、残差、嵌入和优化四个方向进行了扩展。QSA通过微块压缩降低了长上下文的计算和索引成本；门控残差通过并行分支和数据依赖的门控改善了信息流和训练稳定性；N-gram嵌入通过确定性寻址的查找记忆扩展了模型容量；Muon优化器则通过关键实现细节的改进提升了训练效率。团队提前开源这些权重，旨在让社区能够独立评估该架构，并为其最终演进至Qwen4做准备。

根据评论内容，总结如下：

主要观点与论据：

1. 性能与性价比突出：多数评论认为Qwen3.8-Flash-Next在性能上表现优异，尤其考虑到其较小的MoE模型规模。例如，评论2称“benchmarks look seriously impressive.. considering how small of a MoE model this is”，评论5指出“trained at just 1/9 the cost of Qwen3.7-Plus, while outperforming it across the board”。评论6表示“Didn't expect it to beat 3.8 27B so cleanly”，评论9则强调“undercuts the already absurdly inexpensive Deepseek Flash in pricing”。

2. 本地部署与硬件兼容性：部分评论关注模型在本地设备上的运行能力。评论10提到“It's in Unsloth Desktop already... 73GB, so 128GB Mac or Strix Halo etc will work”，评论13认为“might be a big deal for Strix Halo users”。但评论8指出“nothing seems to be able to run this (easily) yet. llama.cpp, vllm etc I couldn't get working”，评论18则质疑“4-bit quant under 100GB seems unlikely, I'm suspecting this won't run in 128GB unified memory”。

3. 新架构与创新：评论5强调“this is a new architecture (foreshadowing qwen 4)”，评论14赞赏“how they are utilizing new architectures to do some really impressive optimizations”，并提到N-gram embedding的使用。

4. 负面与质疑：评论3抱怨“do we really need breaking news about qwen posted every single day?”，评论12关注输入token效率与冗长性，称“GLM 5.2 was doing lot of turns... Qwen3.8-27B was 2x of that... cumulative input token costs were not cheap”。评论15和17指出网站滚动条缺失问题。

平衡性总结： - 正面：性能超越同类模型、成本优势、新架构潜力、适合本地部署（如Strix Halo）。 - 负面：部署工具支持不足、内存需求可能过高、输入token效率存疑、新闻频率过高。 - 中立：部分评论期待进一步测试，如评论11询问“Will this be cheaper than DS4flash?”，评论20关注DGX Spark上的长上下文性能。