作者分享了在24GB内存的M4设备上本地运行AI模型的经验，虽然效果不如顶级模型，但能完成基本任务且无需联网。他尝试了Ollama、llama.cpp等工具和多种模型，指出配置过程复杂，需平衡模型性能与内存占用，最终找到适合的Gemma 4B模型，尽管其工具使用能力有限。

标题：在24GB内存的M4上运行本地模型

作者分享了自己在24GB内存的MacBook Pro上成功运行本地语言模型的经验。虽然这些模型的性能无法与顶级商业模型相比，但能够离线完成基本任务、研究和规划工作已经令人兴奋。

【主要配置】 1. 运行平台选择：Ollama、llama.cpp或LM Studio各有特点 2. 模型选择：经过测试，Qwen 3.5-9B（4位量化版）表现最佳，推理速度约40 token/秒，支持128K上下文窗口 3. 推荐参数（编程任务）： - 温度=0.6 - topp=0.95 - topk=20 - min_p=0.0 - 重复惩罚=1.0

【使用体验】 优势： - 完全离线工作 - 降低对美国科技巨头的依赖 - 可作为编程助手，快速回忆技术细节 - 交互式工作流程能保持用户参与度

局限性： - 容易分心或陷入循环 - 复杂任务需要逐步指导 - 无法一次性完成大型项目开发

【典型案例】 1. 成功案例：准确诊断Elixir代码中的Credo警告，并给出修改建议 2. 失败案例：处理git rebase冲突时忘记实际修改，直接尝试继续操作

【环境配置】 详细提供了Pi和OpenCode两个客户端的配置示例，包括： - 模型端点设置 - 上下文长度配置 - 工具使用支持

【总结】 本地模型虽然存在性能局限，但具有以下优势： 1. 完全离线工作能力 2. 无订阅费用 3. 更环保（减少数据中心使用） 4. 提供有趣的探索体验

作者认为，使用本地模型是与AI技术互动的一种更可持续的方式，尽管会遇到各种挑战，但整个过程充满乐趣。

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. 硬件配置疑问

   • 对M4显卡24GB内存的质疑："The M4, as far as I know, doesn't have 24GB. Did the author mean a M40?"（NBJack）
   • 建议更高配置："24GB is just a bit short...A gaming PC with 16GB graphics card and 32GB RAM brings you very close"（canpan）

2. 本地模型实用性讨论

   • 支持派认为："Gemma 4 31B...feels less like a science experiment"（soganess）
   • 质疑派指出："9B model...can do autocomplete but loses track on large problems"（nl）
   • 折中观点："It's way slower...but it's still nice to have"（quacker）

3. 云端vs本地成本对比

   • 云端优势："migrating to openrouter...for <$2-3/day"（sourc3）
   • 本地投资回报："if I'm spending $800/month...can build a beefy local machine"（reillyse）

4. 特殊应用场景警告

   • 专利写作风险："describing your invention to a web based LLM could be considered a public disclosure"（BubbleRings）

5. 技术优化建议

   • 量化方案："q4_xl+rotorquant combo is pretty good"（rapatel0）
   • 浏览器方案："zero install agent...runs completely in browser"（nl）

6. 基础需求提醒

   • 性能指标："how many tokens/sec generates"（sbassi）
   • 安全问题："The site does not have ssl"（bluequbit）

（注：所有评论均无评分数据，故未标注认可度）