作者因网络问题决定在Mac上搭建本地编程助手，使用Gemma 4模型配合llama.cpp等工具，实现了快速响应且支持多模态输入的功能。最终配置在M1 Max芯片的Mac上运行良好，核心模型采用量化后的Gemma 4 26B版本。

如何在macOS上搭建本地编程助手

作者因网络问题决定在本地部署Gemma 4模型，并成功构建了一个高效的编程助手系统。该系统具有以下特点： 1. 在Mac上运行流畅 2. 支持OpenAI兼容API 3. 可处理截图等图像输入

核心配置： - 硬件：M1 Max芯片，64GB统一内存，macOS 15.7.7 - 软件栈： - 推理引擎：llama.cpp（启用Metal加速） - 主模型：gemma-4-26B-A4B-it-UD-Q4KXL.gguf（16GB） - 加速组件：Q8 MTP草案模型+多模态投影器 - 终端工具：Pi编程助手

性能优化： 1. 基础性能：58.2 token/s 2. 加载MTP草案模型后提升至72.2 token/s（提升24%） 3. 经测试，--spec-draft-n-max参数设为3时性能最佳

安装步骤： 1. 通过Homebrew安装依赖 2. 编译llama.cpp（启用Metal支持） 3. 下载模型文件（约17GB） 4. 启动本地服务器（支持65536上下文长度）

Pi客户端配置要点： - 设置API端点：http://127.0.0.1:8080/v1 - 启用text/image多模态输入 - 可设为默认模型

备选方案： 测试Qwen3.6 35B模型虽表现更优，但速度降至55 token/s，最终选择Gemma 4方案。

注意事项： - 多模态支持需加载mmproj-BF16.gguf投影器 - 不同硬件需单独调优MTP参数 - 提供完整的shell脚本和配置文件示例

该系统成功实现了无需网络依赖的高效编程辅助，实测响应速度完全满足日常开发需求。

（注：原文中的视频演示链接、具体命令行参数和JSON配置细节等技术细节已做精简处理，保留核心信息）

以下是评论内容的总结：

1. 视频链接与技术问题

• 用户cdolan询问视频链接未显示的问题 "Is there a link to the video? It did not render when I went to the page."

2. 模型下载替代方案

• c-hendricks指出可以直接使用llama.cpp参数下载模型 "Not sure you really need huggingface-cli... You can pass -hf ... and it will download the models for you."

3. 本地模型运行体验

• dofm分享M1 Max上的使用体验，指出MTP设置对速度提升有限 "I am not convinced that the MTP setup for the QAT model adds very much in terms of speed on my M1 Max"
• 提到Gemma 4 MTP存在标记问题 "Gemma 4 MTP head was occasionally breaking markup in Opencode"

4. 硬件限制讨论

• reddit_clone和attogram讨论Mac内存限制问题 "64 GB... I have an M4 with 48G" "8b max on a std 16gb macbook. Anything more and your mac is toast"

5. 基准测试建议

• Aurornis认为128个token的测试样本不足 "Generating 128 tokens is probably not enough for good benchmark results"
• 推荐使用llama.cpp的专用测试工具 "llama.cpp includes a tool specifically for benchmarking"

6. 替代工具推荐

• namnnumbr和vladgur推荐oMLX工具 "oMLX makes running the mlx inference server quite easy" "I have used omlx.ai with great success... All from a web or desktop UI"
• sleepybrett建议直接使用Ollama "or you can just load up ollama, have it load a local model"

7. 本地AI的未来

• hanifbbz认为本地AI是未来趋势 "One way or another local AI is the future"
• 指出小模型的优势 "I actually find weaker models more interesting because it keeps me sharp"

8. 性能优化尝试

• LoganDark分享Qwen3-Coder-Next的性能测试结果 "on my M4 Max I can't push it much further than 120t/s"
• 比较不同框架速度 "still faster than llama.cpp's 70.9t/s and MLX's 80.6t/s"