Magnitude 是一个面向智能体的开源推理引擎，会针对你正在使用的硬件做自我优化：它在本地设备上编译并调优算子内核，使开源模型的运行速度最高可达 llama.cpp 的 2 倍。无论是 Apple Silicon、NVIDIA、AMD，还是只有一颗 CPU，都能运行，装好即可使用。

Magnitude 是一个开源的代理推理引擎，能针对你的确切硬件自我优化，以硬件允许的速度运行开放模型。它在你的设备上编译并调优内核，因此开放模型运行速度比 llama.cpp 最快可达 2 倍。一键即可连接你已在使用的代理（Pi、OpenCode、Hermes、Codex 等）。支持 Apple Silicon、NVIDIA、AMD，或仅用 CPU。

开始使用

1. 下载 Magnitude，安装并打开应用。
2. 在 Discover 中选择推荐模型并下载。
3. 在 Connections 中连接你的代理并开始使用。

桌面应用已内置 magnitude CLI，无需单独安装。

为何选择 Magnitude？

• 比 llama.cpp 最快达 2 倍： Metal 上解码快 92%，CUDA 上快 19%
• 在你的设备上调优： 模型运行前内核已在你的硬件上调优
• 为最佳模型打造： 针对流行开放权重家族手工优化内核
• 灵活的内存： 每个代理内存减少 27%，代理停止即释放
• 快速并发会话： 会话共享前缀缓存以防减速
• 适配你的代理： 一键连接 Pi、OpenCode、Hermes、Codex 等
• 免费、私密、开源： 无令牌成本，数据不出本机，Apache 2.0

常见问题

什么是 Magnitude？

开源推理引擎，针对你的硬件自我优化。以桌面应用形式提供，运行开放模型并连接到你已在使用的代理。

它为何比 llama.cpp、Ollama 或 LM Studio 更快？

那些引擎发布的是为广泛硬件类别预编译的内核。Magnitude 在模型运行前于你的实际设备上编译并调优内核，从而契合你的具体芯片。查看对比 llama.cpp 的基准测试。

需要什么硬件？

任何 Apple Silicon、NVIDIA 或 AMD GPU，或仅用 CPU。无固定最低要求。较小机器跑较小模型，内存越大可跑越大模型。

支持哪些操作系统？

macOS、Linux 和 Windows。

支持哪些模型？

完整列表见 magnitude.dev/models。我们为最流行的开放权重家族编写优化内核，以此击败通用引擎。

哪些代理可用？

一键连接 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline。其他任何代理可通过兼容 OpenAI 的 API 使用。

是否私密？

是。提示、文件和模型均留在本地。模型下载后无需联网。

多数人对工具的自动优化概念表示赞赏，但更多人质疑其相对 llama.cpp 等现有引擎的真实速度优势与硬件兼容性。分歧主轴集中在实测性能可信度，以及能否支持非主流定制硬件与广泛模型架构。

质疑实测性能与基准测试的可信度

• 多人要求公开基准测试方法论并对比 MLX、ZML 等其他引擎，有人实测 llama.cpp 解码反而快 20–30%，且 llama.cpp 本身在 Mac 上早有更优替代。认可度：较多人 > 超越 llama.cpp 的速度门槛其实很低，在 Mac 上一直都有更快或显存更省的引擎（@kmike84）

关注硬件兼容性与模型支持广度

• 较多人询问对 AMD、多显卡、外置显卡等定制配置的支持，以及能否成为现有引擎的广泛替代，认为自动适配非主流硬件才真正有价值。认可度：较多人 > 自动适配小众定制系统才能填补空白，因为针对单种主流硬件的优化引擎很难被长期超越（@c7b）

对商业模式与运行效果感到好奇

• 不少人觉得项目酷炫，追问商业模式，猜测其是否类似自动优化编码智能体，并关心能否运行以前跑不了的更大模型。认可度：较多人 > 这东西很酷，它是否就像本地模型的自动优化编码智能体，能持续让模型跑得更快？（@sgtwompwomp）

吐槽安装体验与评估步骤卡顿

• 少数人反映软件重复检测显卡且只跑单卡、或反馈运行报错，或“评估模型”步骤耗时过长导致无法下载，建议后台静默评估。认可度：少数人 > 能否跳过或后台运行模型评估步骤，否则一直卡着没法下载试用（@cedricd）

有价值的补充

• 有用户分享自己早已用常驻编码智能体监控 llama.cpp 上游更新、自动跑基准并提交优化，方向与上游合并相互验证（@lxe）。
• 推理引擎三大常见失败模式被指出：未用最佳推测解码、KV 缓存占用过多显存、大上下文下性能退化（@kmike84）。
• 建议将自定义编译器找到的最佳配置上传共享，让同硬件用户直接复用初始设置，并询问能否在 12GB 显存实现超高吞吐运行特定模型（@MaxikCZ）。
• 用户痛点包括笔记本过热需外部节流、慢速模型下工具调用开销大，期待运行时旋钮与插件混合推理（@mncharity）。