Hacker News 中文摘要

RSS订阅

Ollama与gguf -- Ollama and gguf

文章摘要

用户a-makarov-kaspi在2025年8月6日报告了Ollama 0.11.2在macOS上运行时返回500错误的问题,并附上了相关截图。

文章总结

文章主要内容:

在GitHub的Ollama项目(Issue #11714)中,用户报告了在运行gpt-oss-20b的GGUF模型时遇到的问题。多个用户反馈在使用Ollama 0.11.2版本时,模型无法正常运行,并返回500错误。用户尝试了多个不同版本的模型,包括unsloth/gpt-oss-20b-GGUF:Q2_Kunsloth/gpt-oss-20b-GGUF:F16等,但均未能成功加载。

用户rbnhln详细描述了错误信息,指出模型加载失败的原因是gguf_init_from_file_impl函数无法读取张量信息,导致模型加载失败。其他用户如discosturkappa8219也报告了类似的问题,并尝试了不同的模型和量化版本,但问题依然存在。

用户snowarch提到,Ollama在处理GGUF模型时经常出现问题,而使用llama.cpp则能够正常运行。teodorgross也指出,该模型在其他工具中运行良好,唯独在Ollama中无法正常工作。

此外,用户musica2016406747925niehao100也报告了相同的问题,分别在不同的系统和硬件配置下(如Ubuntu、CUDA 12.4、Tesla V100等)遇到了模型加载失败的情况。

主要问题:

  1. 模型加载失败:多个用户报告gpt-oss-20b的GGUF模型在Ollama中无法加载,返回500错误。
  2. 错误信息gguf_init_from_file_impl函数无法读取张量信息,导致模型加载失败。
  3. 不同版本尝试:用户尝试了多个不同版本的模型和量化方式,但问题依然存在。
  4. 工具对比:部分用户提到,使用llama.cpp可以正常运行该模型,而Ollama则无法处理。

结论:

Ollama在处理gpt-oss-20b的GGUF模型时存在兼容性问题,导致模型无法正常加载。尽管用户尝试了多种解决方案,但问题仍未得到解决。相比之下,llama.cpp能够正常运行该模型,表明问题可能出在Ollama的实现上。

评论总结

评论主要围绕Ollama的技术决策和道德问题展开,观点分为支持和批评两派。

批评观点: 1. Ollama的技术决策问题:多位评论者批评Ollama不再使用llama.cpp,而是重新实现其功能,认为这增加了不必要的复杂性。 - "Ollama no longer uses llama.cpp as a library, and instead they link to the low level library (ggml) which requires them to reinvent a lot of wheel for absolutely no benefit." (tarruda) - "Just days ago ollama devs claimed that ollama no longer relies on ggml / llama.cpp. here is their pull request(+165,966 −47,980) to reimplement (copy) llama.cpp code in their repository." (12345hn6789)

  1. Ollama的道德问题:评论者指出Ollama未妥善处理开源项目的归属问题,且对社区反馈缺乏回应。
    • "They’ve taken VC money, refuse to properly attribute the use things like llama.cpp and ggml, have their own model format for.. reasons? and have over 1800 open issues..." (llmthrowaway)
    • "There’s a GitHub link which is open from last year, about the missing license in ollama. They have not bothered to reply, which goes to show how much they care." (am17an)

支持观点: 1. Ollama的技术改进:有评论者认为Ollama放弃llama.cpp是正确的决定,因为llama.cpp本身存在问题。 - "llama.cpp is a mess and ollama is right to move on from it." (om8)

其他观点: 1. 标题和链接问题:部分评论者认为标题和链接不够清晰,未能准确反映问题。 - "This title makes no sense and it links nowhere helpful." (iamshrimpy) - "Confusing title - thought this was about Ollama finally supporting sharded GGUF." (llmthrowaway)

总结:评论者对Ollama的技术决策和道德问题存在较大分歧,批评者认为其技术决策增加了复杂性且缺乏对开源社区的尊重,而支持者则认为放弃llama.cpp是必要的改进。同时,部分评论者指出标题和链接不够清晰,影响了讨论的准确性。