Hacker News 中文摘要

RSS订阅

在macOS上实验本地LLM -- Experimenting with Local LLMs on macOS

原文链接 | HN讨论 | 2025-09-09 00:51:14

文章摘要

本文作者虽然对大型语言模型持怀疑态度，但仍喜欢在macOS上本地运行这些模型进行实验。文章探讨了LLM的本质，认为它们介于高级自动补全工具和具有意识的实体之间，虽然能进行复杂的预测，但缺乏真正的创造力或意识。作者还分享了LLM在文本摘要和提供建议等方面的优势，并鼓励读者尝试本地运行这些模型。

文章总结

在macOS上本地运行大型语言模型（LLMs）的实验

这篇文章主要探讨了如何在macOS上本地运行大型语言模型（LLMs），并分享了一些相关的经验和建议。作者虽然对LLMs持怀疑态度，但仍然喜欢尝试新技术，并鼓励读者也进行类似的实验。

LLMs的现状与争议
LLMs被一些人称为“高级自动补全工具”，而另一些人则认为它们具有意识并应享有权利。作者认为，LLMs确实能够进行复杂的预测，但并不具备创造力或真正的思维。尽管LLMs在某些任务上表现出色，如文本摘要和提供建议，但它们也存在“幻觉”问题，即生成不准确或虚假的信息。

本地运行LLMs的优势
1. 实验乐趣：作者喜欢在本地运行LLMs，因为这样可以更好地理解其工作原理，并体验计算机与人类语言交互的神奇之处。
2. 数据隐私：本地运行LLMs可以避免将敏感数据上传到云端，保护个人隐私。
3. 避免支持不道德行为：作者对AI公司的一些行为持批评态度，认为它们过度炒作AI、破坏环境并剽窃他人成果，因此更倾向于使用开源模型。

推荐的本地运行工具
1. Llama.cpp：这是一个开源工具，支持多种平台，具有丰富的配置选项，并提供了一个基本的Web界面。
2. LM Studio：这是一个闭源但更易用的工具，提供了友好的用户界面，支持模型浏览、下载管理、聊天组织等功能。

选择适合的LLM模型
在选择LLM模型时，需要考虑以下因素：
1. 模型大小：模型需要加载到内存中，因此RAM是主要限制因素。
2. 运行时环境：不同的工具支持不同的模型格式，如GGUF或MLX。
3. 量化：通过降低模型权重精度，可以在保持性能的同时减少资源占用。
4. 视觉模型：一些模型能够处理图像输入，但专用OCR工具在特定任务上表现更好。
5. 推理能力：某些模型能够在生成答案前进行推理，但这也意味着更长的响应时间。
6. 工具使用：一些模型能够调用外部工具，如执行代码或进行网络搜索。

总结
尽管本地运行的LLMs在速度和性能上可能无法与前沿模型相比，但它们仍然具有实用价值。通过本地运行LLMs，用户可以更好地理解其工作原理，并探索其在不同场景中的应用。作者建议读者尝试不同的模型，并根据自己的需求进行选择。

小贴士
LM Studio会显示上下文窗口的使用情况，当窗口接近填满时，可以要求模型对对话进行总结，以帮助其记住重要信息。

通过这篇文章，读者可以了解到如何在macOS上本地运行LLMs，并从中获得实验的乐趣和实用的建议。

评论总结

评论内容总结：

  1. 浏览器中运行本地LLM的可能性

    • 观点：有用户提出在浏览器中通过JavaScript和WebGL运行本地LLM的设想，认为这样可以实现模型的本地化使用，且独立于操作系统。
    • 引用：
      • "The page could hold only the software in JavaScript that uses WebGL to run the neural net."
      • "This way, one could download models from HuggingFace, store them locally and use them as needed."

  2. 本地LLM的幻觉问题

    • 观点：用户在使用本地LLM（如Hermes Mistral）时遇到严重的幻觉问题，导致模型生成不相关的内容，增加了使用成本。
    • 引用：
      • "Hermes responded by inventing an intereview with Sun Tzu about why he wrote the Art of War."
      • "Having to meticulously check for weird hallucinations will be far more time consuming than just doing the editing myself."

  3. 模型大小与硬件限制

    • 观点：本地LLM的性能受限于硬件，尤其是内存和GPU。用户指出12B–20B模型是16GB内存机器的上限，且Apple的Neural Engine尚未被充分利用。
    • 引用：
      • "The trick is balancing model size vs RAM: 12B–20B is about the upper limit for a 16GB machine without it choking."
      • "Core ML isn’t great for custom runtimes and Apple hasn’t given low-level developer access to the ANE afaik."

  4. 本地LLM工具推荐

    • 观点：用户推荐了几款本地LLM工具，如On-Device AI、LM Studio、Pico AI Server和ollama，认为它们界面友好且功能强大。
    • 引用：
      • "I really like On-Device AI on iPhone (also runs on Mac)."
      • "ollama is another good choice for this purpose. it’s essentially a wrapper around llamacpp."

  5. 本地LLM的实用性争议

    • 观点：有用户质疑本地LLM的实际用途，认为其功能有限，难以满足复杂需求，且存在幻觉等问题。
    • 引用：
      • "So far I’ve not run into the kind of use cases that local LLMs can convincingly provide."
      • "How does one use a local LLM to do something actually useful?"

  6. 未来发展方向

    • 观点：有用户认为短期内无法在手机或笔记本电脑上运行顶尖LLM，但未来可能通过家用设备实现，并建议Apple推出家用LLM设备。
    • 引用：
      • "What may be around the corner is running great models on a box at home."
      • "$10 to 20k for a home LLM device isn’t ridiculous."

总结：评论中既有对本地LLM技术潜力的探讨，也有对其当前局限性的批评。用户普遍关注硬件限制、幻觉问题以及实际应用场景，同时推荐了一些现有的本地LLM工具。未来发展方向可能集中在更强大的家用设备上。