作者在十小时飞行中,使用配备M5 Max芯片的MacBook Pro离线运行本地大语言模型(Gemma 4和Qwen 4.6),成功开发了一个账单分析工具,通过DuckDB分析两年云服务支出数据,并发现了常规仪表板难以呈现的消费模式和跨服务关联。整个飞行期间共处理了约400万token。

标题：十小时航班上的离线本地大语言模型实践

核心内容：

作者在从伦敦飞往拉斯维加斯参加Google Cloud Next 2026的十小时无网络航班上，利用配备M5 Max芯片（128GB统一内存、40核GPU）的新款MacBook Pro，测试了完全依赖本地大语言模型（LLM）进行工程开发的可行性。

实验配置：

• 运行环境：通过LM Studio加载Gemma 4 31B和Qwen 4.6 36B模型
• 开发工具链：包含主流Docker镜像、编程语言环境及可视化依赖库，高频使用opencode、rtk、instantgrep和duckdb等CLI工具

成果：

1. 核心项目：开发了针对loveholidays两年云支出的计费分析工具，基于DuckDB构建自定义数据切片界面，揭示了传统仪表盘难以发现的跨服务关联模式。
2. 辅助任务：处理约400万token的代码重构、文档编写等轻量级工作，Gemma和Qwen在限定场景下的表现接近云端前沿模型。

遇到的限制：

• 功耗问题：持续负载下每分钟耗电1%，即使连接60W电源仍持续掉电
• 散热挑战：70-80W持续运行时机身过热，需借助毛毯隔热但加剧散热问题
• 上下文瓶颈：超过10万token后处理效率显著下降
• 循环故障：部分提示词导致模型陷入死循环，需手动干预

开发工具：

1. powermonitor：实时监测Mac电源数据（CPU/GPU功耗、充电状态等），后续优化了电源适配器检测逻辑
2. lmstats：分析LM Studio的token吞吐量、延迟分布等会话指标

关键发现：

• 使用iPhone充电线仅能提供60W功率（标称70W），更换MacBook原装线后功率提升至94W
• 本地运行促使开发者更关注提示词效率、工具调用开销等成本因素，这种意识可迁移至云端使用

实践启示：

• 适用场景：范围明确的编码任务、探索性工具开发等性价比不高的云端推理场景
• 局限领域：大上下文推理、需前沿智能的代理工作流仍适合云端
• 后续计划：测试正确线缆的返航表现，探索神经引擎对小模型的能效优势

（注：删减了部分工具链接、社交媒体讨论细节及重复的性能描述，保留核心实验设计、关键发现和实践价值）

总结评论内容：

1. 对本地运行大语言模型的质疑

• 认为本地运行LLM的实际效果被夸大，难以完成有意义的工作 "every single time I try to do anything meaningful I end up in a loop...a lot of the hype around running these models locally is bullshit" (deanc) "my macbook basically turned into a jet engine and the battery died in under an hour" (builderminkyu)

2. 飞机上工作空间的限制

• 指出经济舱空间狭小是主要限制因素 "That window seat with the 14” laptop seems extremely claustrophobic...the real limitation is space" (vladgur) "Trying LLM in the air with a 6.200 EUR laptop...not exactly relatable" (bilekas)

3. 远程运行模型的替代方案

• 建议通过VPN远程访问更高效 "I would much rather have the ability to run it remotely...Much better on battery life and heat" (walrus01) "With more and more flights offering Starlink, I don't see why this would really ever be necessary" (seattle_spring)

4. 对机上工作的不同态度

• 部分用户认为应该放松而非工作 "Can't you guys just read a book and take a nap?" (bobro) "possibility to work and travel is con rather than perk" (j1000)

5. 技术细节讨论

• 关注电源管理和模型量化问题 "curious if you had to heavily throttle the cpu or stick to super small quants" (builderminkyu) "Some plane sockets cut out completely if you attempt to draw more then the limit" (cube00)