过去几天在测试顶配M5 Ultra Mac Studio（M5 Ultra Mac Studio）配备256GB内存。该电脑能运行本地模型驱动的个人助理，性能良好且无额外云成本。若曾因本地模型智能与速度不及云端而怀疑测试OpenClaw（OpenClaw）或Hermes Agent（Hermes Agent），此Mac会改变看法。自上周四起对比前代M3 Ultra（M3 Ultra）配备512GB内存及搭载RTX 5090（RTX 5090）的台式游戏电脑，涉及尺寸、价格、散热与苹果统一内存方案。

过去几天，我一直在测试目前顶配的 M5 Ultra Mac Studio，配备 256 GB 内存。

直截了当地说：M5 Ultra Mac Studio 是运行本地 AI 智能体的梦想机器。它能以出色性能运行基于本地模型的个人助手，且无需额外云端费用。如果你曾因本地模型在智能和速度上远不及云端，而对试用 OpenClaw 或 Hermes Agent 的本地模型心存疑虑，这台 Mac 会改变你的看法。

上周四以来，我一直在将这台 Mac Studio 与前代配备 512 GB 内存的 M3 Ultra，以及我自己装有 RTX 5090 的台式游戏 PC 对比。就体积、价格、散热表现，更不用说苹果的统一内存方案，M5 Ultra Mac Studio 从根本上改变了我对本地模型运行及其当前能力的看法。当然，5090 凭借更高内存带宽仍优于 M5 Ultra。但考虑到我那台 PC 的巨大体积、发热和噪音，我任何时候都更愿意选 M5 Ultra Mac Studio。而且它毕竟是一台 Mac，操作系统美观且好用，应用生态充满活力。（Windows 粉丝，抱歉，微软软件我向来无感。）

在 M5 Ultra Mac Studio 上运行最新的 Qwen3.8-Flash-Next 模型非常流畅快速，我已将其设为 iOS 版 Open Minis 和 Hermes Agent 的默认模型。没错，我最常用的个人助手——实际上比 Siri AI 用得还多——现在完全由这台 Mac Studio 上的本地模型驱动。得益于 M5 Ultra 更快的 GPU 和更高内存带宽，这些智能体响应更快、在更大上下文窗口下依然迅速，并能运行长时间多轮循环而不龟速。因此，我也在 Mac 上的 Codex 应用中使用本地模型——无论是主线程还是由 GPT-6 Astra 编排的子智能体——体验都很棒。

我基于四天测试的数据与可视化，以及本地 AI 在 MacStories 工作流中的实际用例展开如下。

为什么用本地 AI？

先直面核心问题：既然云端前沿模型更好且常更快，何必折腾本地 AI？这问题合理。你需要昂贵硬件，等回本时，本可以花更少钱用几年最贵的 Anthropic 订阅，还获得更好性能。

不同人有不同答案：有人为隐私，不愿敏感数据上传外部云；有人觉得酷（我同意）；有人是工作需要，如 AI 开发者需本地环境训练或微调。于我，涉足本地 AI 混合了“酷，试试何妨”的心态，以及对隐私和成本的考量。

本周晚些时候我会向 Club MacStories 会员分享：今年夏天 iOS 和 iPadOS 27 评测的研究与写作搭建由本地 AI 支撑实现。六月我做了内部应用 Desk，整理数百条笔记、会话、PDF 和网页剪藏及相关章节，项目结束时共 310 份文档。Desk 中一支智能体团队——全部基于 DeepSeek V4 Flash，PDF 用 olmOCR——7×24 小时运行了 99 天，执行任务如下：

• 转写我喜欢的 WWDC 会话（用 summarize 加 LLM 处理）
• 从剪藏网页、会话、PDF 指南和我的笔记中提取 iOS 和 iPadOS 27 特性
• 跨源交叉引用特性，并记录特性归属评测哪一章
• 从我上传的截图中提取特性和 bug
• 用 Notion API 在多个数据库间组织一切

六月初用此配置时，我很快意识到依赖 OpenAI 或 Anthropic API 做常开持久后台任务至少成本高得离谱。于是转向本地 AI，成果即你在 MacStories 读到的 iOS 和 iPadOS 27 评测。文章全由我以传统人工方式写就，但整个研究栈、笔记间深链接、追踪新特性和测试版都由本地 Mac Studio 上的智能体完成，总成本 0 美元。

若你觉得这不巧妙或不是值得探索的强大概念，你大概没必要读下去——我理解。摆弄这些模型很麻烦，我绝不会推荐给只想花 20 美元用 Claude Cowork 的人。这种配置本质上是当前 AI 工作流的最前沿。若你站在另一端，觉得这很妙……告诉你：M5 Ultra Mac Studio 对 MLX 驱动的本地模型是巨大性能飞跃，我有例子为证。

提示处理与生成的飞跃

如苹果发布和我的初期报道所述，M5 Ultra Mac Studio 外观与前代 M3 Ultra 相同，但采用全苹果硅新架构：用 UltraFusion 连接两颗双 die M5 Max 芯片形成四 die 架构，苹果生态首次。本地 AI 负载需关注两点：GPU 和内存带宽。

M5 Ultra 有新一代 80 核 GPU，每核带神经加速器，AI 峰值算力达 M3 Ultra 的 4.5 倍。内存上限仍为 512 GB（该机型十月末出），但带宽从 819 GB/s 跃至 1.2 TB/s，高 50%。

对比测试中，M5 Ultra 等模型读提示并起步生成的时间大幅减少；开始回答后文字出现比 M3 Ultra 快得多。仅这两点就使该机胜任需快速迭代的现代智能体循环及更大上下文窗口。

日常用 M5 Ultra 跑智能体，我立刻注意到 token 预填充（提示处理速度）和 token 生成改善。在 iOS Open Minis 中并排对比，M5 Ultra 生成响应平均快约 70%。像 Qwen3.8-Flash-Next 短提示超 100 token/秒、64K–256K 上下文下仍写 60–85 token/秒，绝非儿戏，它实现了很棒的智能体来回交互，尤其涉及工具调用时。

我更惊叹于 token 预填充的提升。用 Hermes 或 Codex 等智能体助手时，模型收到整块指令，含系统提示、用户个性化与会话记忆、技能和 MCP 描述等，通常现代智能体起步并非空上下文。因此我从未能稳定用本地模型搭配这类新智能体：能用，但模型开始生成前我要对着空屏和加载圈等一会，每轮循环性能更差（会话上下文变大），又要等更久。

测试中，提示处理比 M3 Ultra 平均提升 150%——约 2.5 倍。仅此便让本地模型成为 Open Minis 和 Hermes Agent 的可靠选。用 M5 Ultra 上 Flash-Next 通过 RemCTL 获取本周任务时，不必等智能体处理提示；几秒后它便推理、调工具开始工作。做大项目如 voxel Colosseum demo 时，模型能快速处理多轮循环、派发协调子智能体，且随线程变长仍保持 60–85 token/秒。

我深信助手除问答外还能智能执行任务，但要好用必须快。过去几个月我用 Open Minis 测过几家“精品”云商：Inco 的 Kimi K3 超 300 TPS；Cerebras 的 Qwen3.8-27B 惊人 1,800 TPS；Fireworks 和 Baseten 均破 150 TPS。它们在 Open Minis 和 Hermes 中体验极佳，但贵（上周我 10 分钟烧光 20 美元 Inco 额度），且数据向外走。而用 Flash-Next 加我正在写的 Apple CLI 集启动 Open Minis，一切留本地，在我随时可见可重启的机器里。

最关键：Flash-Next 这类模型“小”到可在 256 GB M5 Ultra 上跑更高量化（5-bit 全内存；6/8-bit 借新架构将 n-gram 表卸载到 SSD），又聪明到维持长线程与多次智能体工具调用。对我而言，5-bit 量化在此 Ultra 上平衡智能、性能和内存，是甜点。但若测 512 GB M5 Ultra，我会很有兴趣测无 SSD 卸载的 8-bit 量化表现。

我没花太多时间把各项目编码任务卸载给本地模型，但做了有趣实验。凭借此性能，尤其 256 GB 内存下 oMLX 中可叠最多三个含子智能体的并发 Flash-Next 会话，我现在切实考虑把较简单编码任务交给本地模型，让云端前沿模型审。例如我在 Codex 中设好 Qwen3.8-Flash-Next，可用本地模型跑 Codex harness，即主 GPT 模型编排本地子智能体、Flash-Next 协调自身子智能体，或仅用 iOS Codex Remote 手机调模型。

开放权重模型现于消费硬件上超越约 10 个月前“前沿”水平，M5 Ultra 性能使智能体编码可行，料 MLX 社区很快有惊人实验。

M5 Ultra 对比 RTX 5090

如后文可视化所示，NVIDIA RTX 5090 虽仅 32 GB 显存，仍快于 M5 Ultra，原因有二。

提示处理速度由算力定：模型一次巨矩阵乘法读完整提示，正是 NVIDIA 张量核本职。苹果新神经加速器（M5 Ultra 80 核每核一个）缩小差距但未能弥合。6000 token 提示下，M5 Ultra 读约 1700 tok/s；5090 在 LM Studio 测的 Qwen 模型达惊人约 3000。token 生成看带宽：模型逐 token 写，每 token 从内存拉全模型，故 5090 的 1.79 TB/s 对 M5 Ultra 1.2 TB/s 在各提示长度稳领先约 25%。5090 缺内存：256K 时仅能 8-bit 注意力缓存收尾。32 GB 显存终究有限。

但对比有两问题。一、5090 小模型仍胜，但无统一内存池意味着要飞快跑模型就限 32 GB 显存。一旦超 32 GB（如更高 Flash-Next 量化），5090 须过 PCIe 卸载模型层到更慢系统内存，这没法忍。二、我的游戏 PC 比桌上 Mac Studio 巨大——虽是 Lian-Li A3 紧凑装机。高上下文跑本地模型时其吵且热：基准测试后我进办公室，比公寓其余处暖得难受。相反，桌上“小巧” Mac Studio 摸着温，但明显比 5090 安静，风扇不快不响，最重要的是借苹果硅统一内存能本地跑 GLM-5.3-Flash 等大模型且性能不错。日常一直跑 Flash-Next oQ4e 时，除非耳朵贴机器顶，否则听不到 Studio 风扇声。

凭苹果近年进展，不久的将来 M7 Ultra 超 5090 内存带宽我不意外。但那是后话。

关于测试的说明

自动测试用我搭的 GPT-6 Astra 测试 harness，其协调 M3 Ultra、M5 Ultra Mac Studio 及装 Windows Codex 应用与 Computer Use 的 PC 上多 Codex 实例。macOS 选 oMLX (0.7.0.dev2) 作 MLX 模型本地后端，多数测试在 macOS Golden Gate 27.0 上跑 Qwen3.8-Flash-Next-oQ4e-mtp、GLM-5.3-Flash-MLX-mixed-4_8bit 和 Qwen3.8-27B-oQ4e-mtp。Windows 用 LM Studio 和 Qwen3.8-27B-GGUF，CUDA 12，全 66 层卸 GPU 做全 GPU 测试，另测模型分 GPU 与系统内存。

除 Open Minis 原生子智能体单独实验，我用定制 harness 测并发请求及含主模型与多助手的工作流，oMLX 服务 Mac 模型，LM Studio 服务 Windows 模型。

数据由 Astra 四天收集，后由 Claude Fable 5.1 和 Opus 5 用 Anthropic 即将推出的 Projects 功能可视化（写稿时我提前测了）。交互可视化用纯 HTML/CSS 依 MacStories 风格构建，含本人批注。下方交互组件不仅助你明晰数据，也可视化统计实际含义。我挺满意近似不同 token/秒体感的组件，因该指标难可视化。希望这些动画图表比别处的静态图（下方也有）更有用。

可视化 M5 Ultra

M5 Ultra 用于本地 AI 智能体

至此应清晰：M5 Ultra 性能提升属实，彰显苹果定制硅与统一内存架构给折腾党和开发者带来回报。

尽管测了，我只触及 M5 Ultra 加 256 GB 内存可能性的皮毛。更多开发者和开源维护者上手后，必有量化优化让更大模型在此跑更优。例如我没空测 DwarfStar——极有趣项目（意大利造！）能在更少内存各种 Mac 配置跑本地前沿模型；也没空看 Inco Splash——为苹果硅和特定模型设计的新推理引擎。同样没空测 Exo，其 RDMA 实现理论上能借 Thunderbolt 5 跨 M3/M5 Ultra 拆分分发推理，同时前端跑 OpenAI 兼容服务器供本地智能体 API。

当然，我无法想象 512 GB 高配 M5 Ultra 在放大本地模型上的能耐。也希望终能测到。

实验终，我有简单切实结果：M5 Ultra 让我以惊人性能跑本地智能体，少盯空屏，一切发生于桌上单台紧凑、凉快、安静的机器。

几年前这似不可能。但现在我们做到了。

讨论气氛相当分裂：多数人被一万五到一万八美元的价格劝退，认为本地 AI 对普通人并不必要，并抱怨 macOS 拖累了这套硬件；少数人则强调只要利用率够高，这台机器跑本地推理仍比云端订阅划算。分歧的核心是「把 GPU 放在桌下」到底值不值这个价。

认为价格离谱，买不到相称的价值

• 顶配加 2TB 存储轻松突破 1.5 万美元，512GB 内存版本还要等到十月，这笔钱约等于十二年的 OpenAI Pro 订阅；被测试的那台配置就要 1.8 万美元，反倒让 5090 显得划算（较多人）
• 同样的钱在有些地方足够买房，而过去这不过是买车的预算（较多人） > 这笔钱够我买套房了，以前它只是买车的预算。（@saejox）

认为本地推理的成本优势被低估

• 只要利用率足够，M5 Mac Studio 比在 OpenRouter 上跑任何方案都省钱，还会是运行无审查自主 agent 最划算的方式；真正待验证的是开发者能否整周获得接近高价订阅的体验，而原文作者并非开发者，缺少这层对照（较多人） > 只要利用率合理，M5 Mac Studio 比在 OpenRouter 上能跑的任何东西都更省钱。（@srcreigh）

认为 macOS 才是真正的短板

• 硬件一流但系统是障碍，Asahi 团队再努力也只能逆向到有限程度，新机型还得重来一遍；macOS 只适合想要标准体验的人，跑 LLM 服务器算是个例外（较多人）
• 苹果错过了让它做 Linux 服务器的机会，这类机器能力强、闲置功耗低，本可以成为优秀的 homelab 设备（较多人）
• 16GB 统一内存的旧机器，即便关掉所有第三方应用，系统占用也让可用内存只剩 6—7GB，想装的本地模型装不下（少数人） > 苹果真的睡过了让它跑 Linux 服务器的机会，macOS 现在就是这方面的拖累。（@SamuelAdams）

认为对多数人而言本地 AI 根本不必要

• 真正的「房间里的大象」不是云端模型更强，而是能不能按 5 美元一小时租 GPU——除非有大把钱砸爱好项目，否则没必要自己买（较多人）
• 为「在自己机器上跑 LLM」采购昂贵硬件，很快会发现梯子搭错了墙（少数人）
• 有调侃称本地 AI 之年最晚 2040 年到来，正好与 Linux 桌面之年同步，代表了社区对时间表的怀疑情绪（少数人）

认为该和 DGX Spark 等平台对比，而非只看原始数字

• 当前更合理的对标是两台 DGX Spark，价格相近、内存 256GB；讨论焦点在 agentic 循环里带宽与算力之争，但对大多数人来说，编码基准里的「每任务耗时」比原始吞吐更有意义（少数人）
• 也有人宁可等更贵的 DGX GB300 工作站，认为贵一倍但至少是「真家伙」（少数人）

有价值的补充

• 最关键的数据藏在文章底部一张图表里：Qwen3 27B 生成速度，RTX 5090 在 8K/64K/128K 上下文下为 59/51/44 tok/s，256K 直接缺席；M5 Ultra 为 48/39/32/24，M3 Ultra 为 31/23.5/20/15
• MLX 的量化方法相对简单，低比特且没有 QAT 时质量不如 llama.cpp 的版本，所以这类量化模型评测必须同时公布基准分数，不能直接当作原模型的表现
• 桌面机不可能有数据中心级的吞吐，很多任务也不需要即时响应，本地 agent 在监督下花几天完成原本要几周的工作完全可以接受；但 agentic AI 远非开箱即用，需要很高技术水平，且现有编排把「哪个模型干哪件事」写死，无法对成本、速度、安全做加权
• 购买动机不限于 LLM：有人买它是为了跑 OpenFOAM 做 CFD，不想让笔记本 24 小时满载，预期比 M1 Max 快约 3.5 倍
• 也有人提醒评测应覆盖图像和视频生成，而不只是语言模型，这类硬件在深度学习上的表现同样值得关注