Ollama Turbo提供每月20美元的服务，通过数据中心级硬件加速模型推理，支持运行更大模型，确保数据隐私，并节省设备电池寿命。目前预览版提供gpt-oss-20b和gpt-oss-120b模型。

Ollama Turbo 预览

Turbo 简介 Ollama Turbo 是一种利用数据中心级硬件加速模型运行的新方式。许多新模型由于体积过大，无法在普通 GPU 上运行，或运行速度极慢。Turbo 通过 Ollama 的应用、命令行界面（CLI）和 API，提供了一种快速运行这些模型的解决方案。

Turbo 功能 - 加速模型推理：使用数据中心级硬件运行模型，显著提高响应速度。 - 运行更大模型：升级至最新硬件，支持运行更大规模的模型。 - 隐私优先：Ollama 不会保留用户数据，确保隐私和安全。 - 节省电池寿命：将模型运行的负载从用户的 Mac、Windows 或 Linux 电脑上转移，提升其他应用的性能。

常见问题 - 什么是 Turbo？
Turbo 是一种利用数据中心级硬件加速运行开源模型的新方式，特别适用于那些无法在普通 GPU 上运行或运行速度较慢的大型模型。

• Turbo 支持哪些模型？
  在预览阶段，Turbo 支持 gpt-oss-20b 和 gpt-oss-120b 模型。

• Turbo 是否支持 Ollama 的 CLI？
  是的，Ollama 的 CLI 支持 Turbo 模式。更多信息请参阅文档。

• Turbo 是否支持 Ollama 的 API 和 JavaScript/Python 库？
  是的，Ollama 的 API 和 JavaScript/Python 库均支持 Turbo 模式。更多信息请参阅文档。

• Turbo 模式下会保留哪些数据？
  Ollama 不会记录或保留通过 Turbo 模式进行的任何查询数据。

• Turbo 的硬件位于何处？
  所有硬件均位于美国。

• Turbo 的使用限制是什么？
  Turbo 设有每小时和每日的使用限制，以避免容量问题。未来将推出基于使用量的计费方式，按需消费模型。

价格
Turbo 的订阅价格为每月 20 美元，用户可通过升级链接进行订阅。

评论内容总结如下：

1. Ollama的定位与未来发展：

   • 有评论认为Ollama从开源项目转向盈利公司令人遗憾，可能会为其他开源项目留下空间。
     • "Watching ollama pivot from a somewhat scrappy yet amazingly important and well designed open source project to a regular 'for-profit company' is going to be sad." (smlacy)
     • "It was fun because it was open. Now it's just another brand seeking dollars." (decide1000)
   • 也有评论认为Ollama在本地开发和测试中仍然是最易用的解决方案，尤其适合非技术人员。
     • "I see a lot of hate for ollama doing this kind of thing but also they remain one of the easiest to use solutions for developing and testing against a model locally." (jnmandal)

2. 开源模型的挑战：

   • 评论指出开源模型在速度、成本、可靠性等方面存在多样性，企业用户需要大量专业知识来评估和选择。
     • "Part of the problem right now with OSS models (at least for enterprise users) is the diversity of offerings in terms of: Speed, Cost, Reliability, Feature Parity..." (extr)
   • 开源模型在理论上与闭源模型性能相当，但在实际大规模部署中仍不具竞争力。
     • "I think until providers start standardizing OSS offerings, we're going to continue to exist in this in-between world..." (extr)

3. 隐私与数据保护：

   • 有评论对Ollama的“隐私优先”策略表示怀疑，认为仅不保留数据并不足够。
     • "Any more information on 'Privacy first'? It seems pretty thin if just not retaining data." (liuliu)
   • 也有评论指出，使用本地/开源模型的一个重要原因是避免在数据保护法律不完善的国家运行。
     • "If I use local/OSS models it's specifically to avoid running in a country with no data protection laws." (satellite2)

4. 定价与商业模式：

   • 有评论对AI相关产品普遍定价20美元表示不满，认为应该有更多层次的选择。
     • "Why does everything AI-related have to be $20? Why can't there be tiers?" (computegabe)
   • 也有评论认为基于使用量的定价模式更适合Ollama这样的服务。
     • "It says 'usage-based pricing' is coming soon. I think that is the sweet spot for a service like this." (timmg)

5. 对Georgi Gerganov的认可：

   • 有评论认为Georgi Gerganov在推动LLMs普及方面做出了巨大贡献，但未获得应有的回报。
     • "Ollama is great but I feel like Georgi Gerganov deserves way more credit for llama.cpp." (moralestapia)

6. 对Ollama的批评与支持：

   • 有评论认为Ollama在获得投资后已经妥协，不再纯粹。
     • "No matter if a project is 'open source' as long as they announce that they have raised millions amount of dollars from investors..." (colesantiago)
   • 也有评论认为Ollama在本地开发和测试中仍然是最易用的解决方案，尤其适合非技术人员。
     • "I see a lot of hate for ollama doing this kind of thing but also they remain one of the easiest to use solutions for developing and testing against a model locally." (jnmandal)