Hacker News 中文摘要

llmspeed 是一个帮你在购买前判断本地大模型运行速度的网站。页面开头提出你的本地模型会有多快的问题，并提示只需挑选硬件和模型，就能提前感受真实速度。随后展示了一个示例配置：在 Short chat 场景下，使用英伟达（NVIDIA）RTX 4090 24GB 运行 Llama 3.1 8B（Q4KM 量化），点击 Run 后显示约 42 tok，并提供 80–139 tok/s、TTFT 0.3 秒的实测数据，以及 How we calculated this 的计算方式说明。

选择硬件和模型，在购买前体验真实速度。

示例界面中，顶部显示 ~42 tok 与运行 ▸ 按钮；可选项依次为 Short chat ▾（短聊天）、NVIDIA RTX 4090 24GB ▾、Llama 3.1 8B ▾、Q4KM ▾，以及 ?+ Race a config（添加并对比配置）。随后给出结果：80–139 tok/s、TTFT 0.3 s、Measured（实测）。最后还有“我们如何计算 ▾”的展开入口。

按硬件浏览

按模型浏览

这些估算针对单设备上的短提示。实测数据来自社区基准测试（r/LocalLLaMA、localscore.ai 等），其余数据则依据类似配置推导，或根据硬件规格预测。项目已在 GitHub 开源：开源在 GitHub。

多数人欢迎这个本地 LLM 性能估算工具，但集中质疑它数字不准、配置覆盖太窄；真正的分歧在于工具应优先算准单卡输出速度，还是转向支持多卡、老硬件、长上下文和 agentic prefill 等复杂真实场景。少数人建议干脆花几毛钱租云 GPU 实测，并提醒前端动画会让“感觉速度”失真。

认为工具很有用，但估算必须贴近真实体验

不少人肯定“买硬件前能有参考”这个方向，但有人拿自己的机器对比，发现工具给出的速度明显偏离实际；还有人追问它能否反映“先分析任务、再生成并执行数据库查询”的真实工作流，也有人遇到它只返回关于内存的固定答案，可靠性存疑。（认可度：较多人）

“我手上的 M2 Ultra 128GB 实际速度几乎是工具给 M3 Ultra 512GB 报出的两倍；买硬件前要有这工具就好了，它有用，但估算至少得大致正确。”（@pil0u）

认为默认配置与模型列表太窄，需要多卡、老卡、混合与自定义

很多人抱怨工具只覆盖少数主流单卡，缺少多 GPU（如 2×4090、异构/混合的 RTX5070+RTX5080）、老显卡（如 RX 580）、手动指定 tok/s 等自定义参数，以及 PCIe 代际、NVLink、通道拆分或 CPU 原生等细节；还有人指出模型列表有限，最好按模型配置标明所用库和版本。（认可度：较多人）

“希望这类模拟器能看到多 GPU（同构和异构）、选择 PCIe 3.0/4.0/5.0、是否启用 NVLink，以及是否走 PCIe 拆分或 CPU 原生通道。”（@gitowiec）

认为 prefill 并行、长上下文与质量/进度反馈比输出速度更关键

对 agentic 编码和数据库查询这类负载，多人强调 prefill 能否并行、上下文能开多大、单 agent 的并行推理能力，以及 prefill 阶段的进度提示，都比单纯的“输出 token 速度”更影响体验；也有人希望工具能顺带给出质量感受，而不只是速度数字。（认可度：较多人）

“比起输出 token 速度，我更关心 prefill 能不能并行，对 agentic 编码来说它重要得多。”（@friendly_chap）

认为实际性能严重依赖推理引擎、量化与 harness，工具不该只呈现主流默认组合

有人指出这类基准大多只测“主流告诉你可行”的默认组合，很少体现不同推理引擎实现、量化方式、优化版（如 speculative decoding）和老硬件混合方案，而且似乎只用极少 token 测试；实际速度高度依赖整个 harness、所用库和版本，而不只是硬件型号。（认可度：较多人）

“这类基准大多只测主流告诉你可行/能用的组合，很少体现不同推理引擎实现、老硬件或混合方案；而且似乎只用很少 token 做测试。”（@lopotubez）

认为不如花几毛钱租云 GPU 实测，工具抓不到真实体验

少数人建议别纠结估算，直接租几分钟云 GPU 跑真实任务；成本通常远低于 0.5 美元，很多平台还有 5–10 美元新人额度，基本等于 0 美元，而上下文窗口等体验是估算工具抓不到的。（认可度：少数人）

“直接去租几分钟云 GPU 试试就好，通常不到 0.5 美元，很多平台还有 5–10 美元新人额度，实际等于 0 美元；像上下文窗口这类东西，这工具并没有捕捉到。”（@kristopolous）

有价值的补充

反直觉实测：一台用了 9 年的笔记本（GTX 1070 Max-Q 8GB、16GB DDR4、i7-8750H）在 4-bit 量化加定制 llamacpp 分支（Turboquant）下，能跑微调版 Qwen 3.5-35B-A3B；131k 上下文约 16–19 tok/s，prefill 约 350–500 tok/s，到 100k 上下文后降到 9 tok/s。这远好于主流基准会推荐的“只能跑个 9B 小模型”的结论。
前端感知不等于生成速度：OpenAI 和 Meta 大量使用动画与渐隐来掩盖延迟，所以“感觉快”不一定等于实际输出 token 快。