作者在M4 Pro Mac mini上搭建了本地LLM服务器，使用Qwen3.6和Gemma模型，通过oMLX推理和Tailscale连接设备。主要原因是避免云API的定价变动和限制，此前每月花费400美元订阅仍体验不稳定。

好的，这是根据您的要求，对原文进行中文重述和精简后的版本：

标题：我的M4 Pro Mac mini本地模型部署方案

我在一台配备48GB内存的M4 Pro Mac mini上运行本地大语言模型服务器。它负责从我的Hermes智能体后端到手机上的快速聊天查询等所有任务。整个设置过程大约需要30分钟。

核心组件：

• Qwen3.6-35B-A3B-OptiQ-4bit：我的主力模型，用于需要推理或深度的任务。
• Gemma-4-E4B-it-OptiQ-4bit：轻量级模型，用于简单聊天、文本格式化等常规任务。
• oMLX：推理服务器。
• Tailscale：用于连接Mac mini、iPhone和MacBook的私有网络。

为何选择本地部署？

主要原因是云端API如同租来的土地，存在诸多不确定性：价格可能变动、使用可能受限、后台模型可能被悄然替换。我曾每月支付两个200美元的订阅费，却时常感觉服务质量不稳定。数据隐私是另一个问题，你无法完全掌控第三方如何处理你的数据，这对处理敏感代码或客户信息的工作构成安全风险。此外，还有“AI主权”的考量，政府可能随时限制某些模型的发布，而本地部署能让你完全掌控自己的计算资源。

其他实际优势包括：

• 成本可预测：硬件和电费是固定成本，之后每次推理都是免费的。
• 低延迟：无需网络往返，响应速度更快。
• 离线可用：没有网络也能工作。
• 无速率限制：本地机器不会限制你的使用量。

实际使用方式：

Mac mini始终保持开机状态。Hermes智能体在其上运行，我通过手机上的Telegram和MacBook上的Hermes桌面应用访问它。其他用途包括：

• Apollo (iOS)：用于快速、一次性的聊天查询，连接本地模型即可。
• Raycast (Mac)：用于处理一些零散需求。
• Pi：用于编程。

我的目标并非完全取代基于API的模型，而是用本地模型处理日常80%的需求，从而节省成本。

模型解析：

运行大型模型的关键在于内存占用。以“Qwen3.6-35B-A3B-OptiQ-4bit”为例：

• 35B：模型总参数量。
• A3B：每个token实际激活的参数量（30亿）。这是一个混合专家模型，虽然总参数有350亿，但每次推理只激活其中30亿，因此内存占用远低于同参数量的密集模型。
• OptiQ-4bit：混合精度量化，在保持质量的同时大幅降低内存需求。

在我的48GB Mac mini上，该模型占用约20GB内存，剩余空间足以运行系统和处理长上下文。相比之下，一个密集型的270亿参数模型在4-bit量化下就需要约14GB内存，对于16GB内存的设备来说会非常吃力。

如何判断模型是否适合你的硬件：

1. 查看量化后的文件大小（350亿参数4-bit模型约17-20GB）。
2. 减去操作系统开销（macOS约6-8GB）。
3. 为上下文窗口预留空间（8-16GB）。
4. 对于混合专家模型，关注“激活参数”而非总参数。
5. 确保模型和上下文的总内存需求低于可用内存，并留有10-15%的余量。

轻松更换模型：

更换本地模型非常简单，只需下载新模型并重启服务器即可。oMLX的管理面板内置了HuggingFace模型浏览器，可以方便地下载和切换。这意味着你可以紧跟模型更新，而本地模型与云端模型的质量差距正在迅速缩小。

网络连接：

通过Tailscale，所有设备（Mac mini、iPhone、MacBook）都在同一个私有网络中，无需暴露到公网。oMLX服务器监听在特定端口，任何设备都可以连接，配置统一。

总结：

在Apple Silicon上运行本地模型已不再是实验性质。M4 Pro Mac mini可以轻松胜任，模型质量足以应对大多数任务，且更换成本极低。你无需按token付费，也无需将敏感数据路由到第三方。当有更好的模型发布时，你只需花费一点硬盘空间就能立即尝试。

评论总结

主要观点与论据

1. 性能与硬件配置（核心关注点） - 低配设备性能不佳：多位用户反映在16GB RAM设备上运行本地模型体验差，如amanzi称“performance is terrible”，xydac对token速度不满。 - 高配设备表现：M4 Max/128GB用户jumploops指出“prefill latency”是主要问题；M4 Pro用户miles_io认为适合迭代小模型；mkagenius在M1 Pro/16G上测试Qwen3.6 27B 1-bit模型，获得13 tok/s且仅用5G内存。 - 硬件选择争议：max979质疑M4 Pro处理量化模型的能力，而mintflow因多次失望决定暂不投入更好硬件。

2. 模型应用与优化策略 - 小模型+定制化框架：brainless强调“performance...is not the most important factor”，主张围绕小模型（如Qwen3.5 4B/9B）构建专用框架（harness），用于代码生成、本地搜索等场景，并指出“harness has to be built around them”。 - 实际应用案例：mintflow用本地LLM服务OpenClaw（执行定时任务、筛选社交媒体内容），但承认“even with GPT 5.6 sol, the quality is low”。

3. 苹果硬件与AI营销争议 - 正面评价：alexgoodhart感谢分享详细设置教程；miles_io认为M4 Pro比云实例更便捷。 - 负面批评：whatsThisBtn4直言“Apple did great work convincing people their unified memory was good at AI”，并讽刺“AI says Apple is the best of all time at marketing”，同时指出Nvidia在股市领先。

4. 工具与链接问题 - URL真实性：crossroadsguy质疑oMLX链接（omlx.app）是否为幻觉，认为应是.ai域名。

关键引用（保留中英文）

性能问题
- “No mention of the performance of the models? ...the performance is terrible.” (amanzi)
- “I tried the 1 bit model of Qwen3.6 27B on my M1 pro (16G) and got 13 tok/s with only 5G of ram usage.” (mkagenius)

优化策略
- “The performance, in simple tokens/second, is not the most important factor. ...If we build harnesses around small models, we can build a locally running WYSIWYG editor.” (brainless)
- “My biggest problem with running local LLMs on my M4 Max/128GB RAM is the prefill latency.” (jumploops)

苹果营销争议
- “Apple did great work convincing people their unified memory was good at AI. Even AI says Apple is the best of all time at marketing.” (whatsThisBtn4)