Hacker News 中文摘要

RSS订阅

本地运行Qwen3.8 27B：我的Mac Studio实测数据 -- Run Qwen3.8 27B locally: real numbers from my Mac Studio

原文链接 | HN讨论 | 2026-08-29 15:05:16

作者在Mac Studio上本地运行Qwen3.8 27B模型，用于处理日常任务（如摘要RSS、整理PDF）。实测显示，该模型（Q4KM量化）生成速度约14 tokens/s，而前代版本可达28.6 tokens/s。

正文

好的，这是根据您的要求，对原文进行中文重述和精简后的版本：

标题：在 Mac Studio 上本地运行 Qwen3.8 27B 的真实数据

核心内容：

作者在 Mac Studio 上本地运行了 Qwen3.8 27B 模型，并对其性能进行了实测。该模型在日常任务中表现可靠，如摘要 RSS 和整理扫描文件。作者通过基准测试，提供了在 Apple Silicon 上运行该模型的具体数据。

主要发现：

  1. 性能对比：在 Mac Studio M3 Ultra 上，Qwen3.8 27B (Q4KM 量化) 的生成速度为 ~14 tokens/s，而前代版本 qwen3.6:27b 为 ~28.6 tokens/s。速度减半的原因是新的混合注意力架构在 Ollama 的 Metal 内核上尚未完全优化。
  2. 实际效率：尽管生成速度较慢，但 Qwen3.8 回答相同问题所需的 token 数仅为前代的三分之一左右。因此，完成一个回答的实际耗时两者几乎持平（约 67 秒 vs 72 秒）。
  3. 1-bit 量化实验：1-bit 量化版本（6.7GB）运行速度很快（27 tokens/s），事实性知识回答正确，但缺乏决断力，无法给出最终答案。结论是：量化对模型的影响不均衡，事实性知识保留，但决策能力丧失。该版本不适合用于需要工具调用或代理性任务。
  4. 硬件需求：
    • 32GB 内存可流畅运行 Q4 量化版本。
    • 16GB 内存可运行 Q2 或 1-bit 量化版本。
    • 在 32GB 内存的迷你 PC 上，CPU 推理速度会降至个位数 tokens/s，适合后台任务，但交互式聊天体验不佳。
    • 追求速度的社区共识是使用 AMD 的 Strix Halo 平台，其 Q4 量化版本可达 20.4 tok/s。
  5. 运行注意事项：需要更新 Ollama 至 0.32.12 或更高版本，以及更新 llama.cpp 至最新版本，否则会因无法识别新架构而报错。

作者的实际应用：

该模型被用于处理日常后台任务，如生成 RSS 摘要、整理扫描文件等。这些任务不追求高速度，但要求模型足够智能且能本地运行，无需依赖云端 API。

总结：

Qwen3.8 27B 是一个强大的本地模型，尽管当前在 Apple Silicon 上的生成速度较慢，但其高效的 token 使用使其实际效率与前代持平。对于有 32GB 以上内存的用户，它是一个可靠的本地 AI 助手。

评论

根据评论内容，主要围绕Qwen 3.8模型在Mac Studio上的性能表现展开讨论，存在明显分歧。以下是总结：

主要观点与论据

1. 性能异常与质疑（评分：无） - 多位用户指出Qwen 3.8（27B）在Mac Studio上的生成速度（约14 tok/s）仅为Qwen 3.6的一半，认为存在优化问题。 - 关键引用： - "I am really surprised you’re seeing half the generation performance of 3.6 with 3.8 at the same parameter size and quantization" (Infernal) - "Qwen 3.8 has the same architecture and the same parameter count as Qwen 3.6. Something is not right with the GGUF if it's 2 times slower." (kgeist)

2. 性能可接受与优化建议（评分：无） - 部分用户认为速度差异源于未启用MTP（Multi-Token Prediction）或量化设置不当，并给出优化方案（如使用MLX、Dflash2）。 - 关键引用： - "This low-effort slop post is misleading. It suggest that 3.8 is half as fast as 3.6, but this is almost definitely because MTP isn't enabled by default." (kennywinker) - "FWIW, on my Mac Studio I get ~24-27 tok/s generation... that's on the Q6_K GGUF with speculative decoding on." (petercooper)

3. 硬件对比与性价比（评分：无） - 用户对比Mac Studio与NVIDIA显卡（如5090、A6000）的性能，认为Mac在推理速度上不如专用GPU，但价格相对合理。 - 关键引用： - "Jealous of the folks with 5090s running ninfer and getting >100tok/s. At those speeds it's a true frontier replacement IMO." (Atreiden) - "The large RAM Macs are unusable for inference of dense models as of now. Token generation is too slow." (arjie)

4. 对文章质量的批评（评分：无） - 多位用户认为作者缺乏本地AI运行经验，文章存在误导性，建议参考r/localllama社区。 - 关键引用： - "the fact that this author cannot get qwen3.8-27b run at the same speed as qwen3.6-27b, says the article is not worth reading." (ycui7) - "Slop; all those LocalLlama threads 'you' read had #s too. And Q1 quant? Why? You have the memory..." (refulgentis)

平衡性总结

  • 支持性能差异观点：强调Qwen 3.8速度异常，可能源于软件优化不足或GGUF问题。
  • 反对性能差异观点：认为速度差异可通过启用MTP、使用MLX或调整量化解决，模型本身架构相同。
  • 硬件对比：Mac Studio在推理速度上不如高端NVIDIA显卡，但价格和内存容量有优势。
  • 文章质量：多数用户批评文章缺乏技术深度，建议参考社区经验。