腾索戴因（Tensordyne）的纳皮尔（Napier）芯片旨在加速人工智能推理。自2020年左右起，AI主要聚焦训练更大更好的模型，大型语言模型从数百万参数膨胀到数万亿。开放人工智能（OpenAI）的GPT-3（GPT-3）最大版本2020年发布时仅答对43.9%的基准题，四年后GPT-4o（GPT-4o）达88.7%。先进实验室仍在训练更大模型，但训练已退居背景，2026年推理（用模型产代码、写文章或生成图像）走到前台。

大约从 2020 年起，AI 的重心主要放在训练更大、更好的模型上。大语言模型（LLM）的参数从数百万膨胀到数万亿。这种做法确实有效：2020 年发布的 OpenAI GPT-3 最大版本，在一个流行的知识推理基准上只答对 43.9%；仅仅四年后，GPT-4o 在同一测试中达到 88.7%，几乎与人类专家持平。

先进 AI 实验室仍在训练越来越大的模型，但训练已在一定程度上退到 AI 话题的背景中。到了 2026 年，推理——使用训练好的模型生成代码、写文章，或把自己变成精灵图像——走到了前台。

“训练就像是昨天的新闻，”Moor Insights & Strategy 首席数据中心分析师 Matt Kimball 说，“所有 CIO 想谈的都是推理。”Nvidia CEO 黄仁勋在公司 GTC 2026 大会上，把这一变化称为“推理的拐点”。

造成转变的部分原因很简单：LLM 变得有用了，所以人们开始使用它们。除此之外，如今市场上很多模型是推理模型。面对用户查询，它们不只运行一次推理，而是多次运行，通过所谓“思维链”反复自我提示。推理模型会生成更长的输出，高推理强度的模型产生的文本量可达低强度或无推理强度模型的 20 倍。代理式 AI 的兴起又进一步推高全球推理负载：推理不再只是对用户查询的实时响应，还会全天候运行，自主朝用户设定的目标推进。

推理需求的爆发，让科技巨头之间出现了出人意料的联盟。OpenAI 和 Amazon 都部署了 Cerebras 设计的餐盘大小芯片，尽管 Amazon 自己也有 Trainium 芯片。Nvidia 以 200 亿美元的有争议交易，收购了 AI 推理初创公司 Groq 的关键人才和知识产权。Anthropic 则每月向 LLM 竞争对手 SpaceXAI 支付超过 10 亿美元，租用闲置算力。

AI 训练和 AI 推理看起来相似，计算上却不同。科技巨头的这些大动作说明，要支撑推理需求，所需的硬件组合将与专家几年前预想的很不一样。

AI 推理与 AI 训练有何不同？

一个未经训练的 LLM，就像桌上乱堆的拼字游戏字母。只不过这些牌上不是单个字母，而是词片段，也就是 token。写几乎任何东西所需的材料都在，但毫无意义。

训练模型，就是靠一场大规模猜谜游戏来整理这堆乱牌。模型看到真实文本，但下一个 token 被遮住，它要预测接下来是什么。每次猜测后，正确 token 被揭示，与预测比较，差异用来计算模型准确率。这个游戏不只用一句话玩，而是在数十亿段文本上反复进行。

真实拼字游戏可以配着薯片和饮料玩，AI 训练在计算上却极其密集。模型通过反向传播更新参数，反复计算模型数十亿乃至数万亿参数中的每一个应如何调整，才能让下一次预测更好。这就是科技巨头建造空前规模数据中心的原因。

最终，模型创建者认定继续训练不划算，猜谜游戏停止。反向传播结束，参数冻结，LLM 成为预训练模型。微调——在更小、更专门的数据上做一次短训练——带来最后调整，随后模型部署。

接下来是推理。这是使用已部署模型的过程；模型经过训练，已经学会按合理顺序吐出拼字牌，也就是 token。

你可能会以为，AI 推理的计算需求较低，因为更新参数的反向传播计算被去掉了。但推理硬件公司 d-Matrix 创始人兼 CTO Sudeep Bhoja 解释说，推理带来了新挑战。

模型本质上是“自回归”的，下一个输出依赖上一个输出。“所以，要生成下一个 token，你必须读取前一个 token 的所有权重和所有上下文，”Bhoja 说。上下文包括你的全部提示、LLM 的全部回复，以及你上传的所有文件。数据量很大，处理量也很大。

LLM 分两个阶段生成回复：预填充和解码。预填充是模型读取提示。它一次性处理每个 token，计算每个 token 与其他所有 token 的关系。这个操作叫注意力，是现代 LLM 背后 transformer 架构的定义性特征。它让模型能结合词所在的句子、段落和更大上下文来回应，而不是孤立看待一个词。可以把它想成在落子前整理拼字牌。许多玩家会移动字母，想象它们如何连接。自注意力扮演类似角色，只不过不是移动实体牌，而是每个 token 向其他 token 发出查询，并收到表示相关性的分数。

这些查询产生两类向量：键和值。它们通常被放进一个叫 KV 缓存的地方。严格来说这不是必需的，模型也可以每生成一个新 token 就重新计算这些向量。但几乎所有 LLM 都用 KV 缓存来减少计算量。KV 缓存存在内存中，成为 LLM 可随时返回查看对话的草稿本；它开始时很小，却能膨胀到几十 GB。

预填充很容易拆分并行处理。这就是 LLM 流行后 GPU 成为主导 AI 加速器的原因。图形光栅化——计算屏幕上每个像素的颜色——同样是高度并行的，因此 GPU 架构天然适合。

接下来是解码。模型在这里一次生成一个 token。每一步，它取最近一个 token，与 KV 缓存中的所有内容权衡，用这些信息预测下一个 token，再把新 token 的键和值加入缓存。然后按顺序重复，一个 token 接一个 token。

模型的这种自回归特性，在这里拖慢了推理速度。预测每个 token 都需要从内存中读取整个模型，而模型可能包含数十到数百 GB 参数，这些参数代表模型在训练中学到的数字。关键在于，这还不包括存储 KV 缓存所需的内存。

结果，所有这些数据在内存中移动，所需带宽常常超过推理硬件能提供的带宽。于是，GPU 至少有一部分计算单元在等待数据时闲置。研究人员发现，运行开源 LLM 的 Nvidia H100 GPU，有 50% 到 80% 的时间处于闲置。

内存在推理中的作用

Meta 前硅工程负责人、AI 初创公司 Majestic Labs 联合创始人 Shahriar “Sha” Rabii 说，处理器闲置正是许多想提升 AI 推理性能的公司紧盯内存的原因。“用基于 GPU 的方法，你最终会严重过度配置计算，同时内存却挨饿。这推动了大规模的内存扩展。”

Bhoja 的 d-Matrix 和 Rabii 的 Majestic Labs 都聚焦这一内存瓶颈，但两家公司设想的解决方案不同。

d-Matrix 的第二代 AI 加速器 Raptor，试图通过缩短计算与内存之间的距离来提升推理性能。当前大多数 AI 推理部署中的 GPU，把高带宽内存放在 GPU 周边。每个 HBM 是一堆 DRAM 裸片连接在一起，并通过超高速接口连到 GPU。这对训练很好，但对推理来说，能以这种方式堆叠的内存容量和它能提供的带宽都不够理想。

d-Matrix 的 Raptor 把 AI 加速器堆叠在 DRAM 裸片上，从而消除这一瓶颈。它不是堆叠内存，而是堆叠内存与计算。Bhoja 说，这把数据必须移动的距离从“毫米缩短到微米”。就像建摩天大楼，纵向发展让人能在同样物理 footprint 内做更多事。

Majestic 走相反路线。它不试图缩短计算与内存之间的数据移动距离，而是改进内存接口，在保持高带宽的同时适应更长的走线。更长的线让 Majestic 能连接并不直接位于 GPU 旁边的内存堆栈，打破 HBM 的空间限制。

“内存接口能工作的物理距离非常短。对 HBM 来说，最多 2 到 3 毫米。芯片周边有那么一圈海岸线，那是唯一能放 HBM 的地方，”Rabii 说。

Majestic 声称其内存接口可以把比特传输到约一米远。这依靠专有铜链路和一枚协调数据的内存聚合芯片。“聚合器是高速接口的端点，也是向许多许多商品 DRAM 芯片扇出的方式，”Rabii 说。因此，Majestic 可以在单个服务器机架中支持多达 128 TB DRAM 内存，显著高于 Nvidia 的 GB300 NVL72 机架约 20 TB HBM3E。

d-Matrix 和 Majestic 有一个共同点：不用 HBM，而用现成 DRAM。这是世界上最常见的计算机内存，从智能手机到汽车都有。内存分析师 Jim Handy 说，HBM 成本是 DRAM 的两到三倍。d-Matrix 和 Majestic 选择 DRAM，部分原因就是价格优势。不过，HBM 的支持者，包括三星和 SK 海力士等内存巨头，并没有坐等。

最新版 HBM4 已投产，将被预计 2026 年下半年出货的 Nvidia Vera Rubin GPU 采用。SK 海力士内存系统研究负责人 Hoshik Kim 说，HBM4“将决定性地打破今天制约 AI 推理的内存瓶颈”，把 HBM 最大内存带宽翻倍，并增加每堆栈的 HBM 容量。

组合芯片实现更快推理

大玩家 Nvidia 和 Amazon 采取“所有芯片一起上”的方法。Nvidia 的 GPU 和 Amazon 的 Trainium 训练加速器，仍然很适合推理工作负载的一部分：预填充阶段，也就是计算所有上下文键和值的阶段。但为了加速解码——生成新 token 的部分——它们转向规模较小公司提供的、以内存为中心的架构。

对 Nvidia 来说，这个较小玩家就是 Groq（不要与 SpaceXAI 训练的 Grok 系列 LLM 混淆）。Nvidia 在 2025 年底购买 Groq 的知识产权并招募人才；仅三个月后，在 Nvidia GTC 2026 大会上，黄仁勋发布了 Nvidia Groq 3 语言处理单元。Groq 架构依赖直接构建在芯片架构中的内存，也就是 SRAM。

除非你是芯片架构师或硬核 PC 游戏玩家，否则大概从不会想到 SRAM。SRAM 的好处是紧密集成在计算芯片架构中——与处理器在同一块硅片上；缺点是密度低于 DRAM，成本更高。大多数芯片只包含几十 MB SRAM。但 AI 推理重新点燃了人们对 SRAM 的兴趣，把它作为让内存中的模型权重更靠近计算的一种手段。

Nvidia 超大规模与高性能计算副总裁兼总经理 Ian Buck 说，LPU 的优先事项与公司 GPU 大不相同。LPU 的原始算力远低于标准 GPU，但它有 500 MB 片上 SRAM，直接连到浮点数学单元。“好处是内存带宽。LPU 的内存带宽是 GPU 的七倍，”他说。

理论上，在 Rubin GPU 和 Groq LPU 之间，预填充和解码都能加速，兼得两者之长。“所有注意力数学和上下文处理都在 Vera Rubin 机架上做，”Buck 解释说，“所有专家计算……矩阵乘法，我们放在 LPU 上做。”Nvidia 把 256 个 LPU 装进 Groq 3 LPX，这是一个数据中心机架大小的系统。

Amazon Web Services 则与 Cerebras 达成协议，把 Trainium 加速器与 Cerebras 的晶圆级引擎 3 配对。Cerebras 的方法与 Groq 类似，但规模大得多。WSE-3 把整片硅晶圆变成一颗芯片，包含超过 4 万亿个晶体管。设计不连接外部内存，而是在每片晶圆上蚀刻 44 GB SRAM。“我们把模型权重存在 SRAM 上，”曾任 Cerebras 产品营销总监、后转投 SpaceXAI 的 James Wang 说，“所以，一颗芯片上我们轻松可以支持 400 亿到 800 亿参数。”

Amazon 计划用 AWS Trainium 芯片做预填充，用 Cerebras 做解码。但 Cerebras 芯片也可以单独承担推理。OpenAI 部署 WSE-3 来驱动 GPT-5.3-Codex-Spark，这是其编码模式的一个变体，输出超过每秒 1000 个 token。作为对比，OpenAI 标准 GPT-5.4 部署输出为每秒 50 到 125 个 token。

Cerebras 也能在不把工作负载转移到不同专用芯片的情况下处理预填充。为此，它把多颗 WSE-3 芯片联网，形成单一内存池。Cerebras 已展示可以服务多达 1 万亿参数的模型，例如 Moonshot AI 的 Kimi 2.6，不过 Wang 说“该架构在参数数量上没有天然限制”。

尽管策略不同，Nvidia 和 AWS 似乎都同意，AI 推理的未来要靠系统方法：把不同种类的芯片池化，共同处理最大的 LLM。或者如 Buck 所说：“要做现代 AI 推理，你需要所有芯片。”

学会用更少比特做更多事

Nvidia 成为全球市值最高的科技公司，是因为它设计了全球最受追捧的 GPU。但并非所有注意力都放在改进 AI 推理硬件上。AI 研究人员也在学习如何让 LLM 软件与硬件协同优化，以最好地利用内存和计算组件。

大多数计算机用 32 位或 64 位格式存储数字。这决定了一个数字能用多少比特表示。比特太少，数字存储时就会丢失信息。LLM 的质量受益于更精确的数字格式，但这给推理性能带来问题。更精确的数字不是免费的：描述它们的比特占更多内存，计算时需要更多硅片和能量。

AI 加速器公司 Tensordyne 联合创始人 Gilles Backhus 说，这造成模型大小与数字精度之间的紧张关系。“你想要一个大小为 x、但以 8 位运行的模型，还是想要一个两倍大小、但以 4 位运行的模型？”就内存和计算而言，每个模型的大小大致相同，“但 4 位方法让你拥有两倍的突触。人们正在发现，4 位方法值得。”

把 LLM 从更精确格式转成较低精度格式的过程叫量化，已经使用了好几年。但研究人员正在找到新方法，在把模型量化得更低的同时，保留大部分模型质量。

Nvidia 最近为此创造了一种新的 4 位数字格式 NVFP4。AMD、Intel 和高通则支持另一种竞争的 4 位格式 MXFP4，Nvidia 也曾参与开发。“这是 AI 的黑魔法，”Nvidia 的 Buck 说。Nvidia 称，把 DeepSeek-R1 从 FP8 量化到 NVFP4 后，七项主要基准的得分下降不到 1%，性能提升三倍。

量化很可能只是开始。AI 研究人员和初创公司正在探索多种优化机会，其中一些可能大幅改变 AI 推理硬件中的硅片。

Tensordyne 预计用一种对数数字系统加速 AI 推理。它利用对数的一个性质：A 乘以 B 的对数，等于 A 的对数加 B 的对数。于是，把数字存成指数形式，芯片就能在原本需要乘法的地方改用加法。这在硅片层面很重要，因为乘法电路比加法器更耗电、占用更多芯片面积。Tensordyne 说，其机架级硬件 Napier 每用户每秒可输出多达 1300 个 token，而功耗不到可比 Nvidia 硬件的十分之一。

总部位于加州圣何塞的初创公司 Etched，甚至在设计把 LLM 使用的 transformer 架构直接翻译成硅片的 AI 加速器。公司不是造通用 GPU，而是把高效 transformer 计算所需的连接直接布线到芯片中，让芯片灵活性大幅降低，但对当前 LLM 最常执行的任务更高效。公司称其首款 AI 加速器 Sohu 能以惊人的每秒 50 万 token 运行 Meta 的 Llama 70B 模型，不过这种方法也意味着，它无法运行偏离典型 transformer 架构的 LLM。

这些想法能否成功还有待观察。Etched 刚在 8 月交付第一台机架。Tensordyne 认为其首批硬件将在 2027 年上市。即便如此，这些初创公司显示出，对推理性能的需求正在催生非常规想法。

推理是所有人的游戏

AI 推理加速的方法五花八门——把计算堆在内存上、把接口从毫米延伸到米、用整片硅晶圆做 SRAM、把模型压进 4 位——这引出一个问题：哪种会赢，哪种会输？

但专家说，这很可能不是正确的问题。目前对 AI 的需求似乎无法满足，尽管行业里弥漫着对 AI 泡沫的担忧，增长尚未受阻。

相反，Moor Insights & Strategy 的 Kimball 认为，长期看推理可能推动 AI 硬件的强劲需求，因为这种需求最终会到哪里并不明显。“你可以在组织里加入一百万个代理，”他说，“这些东西一天 24 小时工作；它们不会像我们一样下午五点回家。”

如果 AI 推理需求像 Kimball 预期的那样持续旺盛，其演变可能遵循 CPU 的轨迹。CPU 不是沿单一轴线改进，而是在多条战线上同时推进。晶体管微缩放缓后，芯片和系统架构的各种创新大量涌现。促成今天无处不在的强大个人计算的单项创新，足以写满几十本书。

几十年后，AI 推理创新的历史也会展现出类似的深度。

读者普遍称赞文章质量，对 Anthropic 天价算力租赁感到震惊，整体分歧不大，仅少数人遗憾推理类比中断并追问未来创新领域。

认为文章优秀且栈层优化将驱动未来性能提升

• 读者评价文章出色，认为后续基准性能提升主要源于支持更快迭代与递归的栈侧。（少数人） > 未来多数基准性能增益将来自栈的这一层，因其加速迭代与递归。（@superposition）

对 Anthropic 每月十亿级算力租约感到惊讶

• 读者早已知晓 Anthropic 租用竞争对手算力，但不知月费超十亿，直呼震撼。（少数人） > 已知 Anthropic 租用 AI 对手 SpaceXAI 算力，但不知月租超十亿，惊叹。（@geoffbp）

肯定训练类比但遗憾推理部分未延续导致理解障碍

• 读者喜爱用拼字游戏类比训练，但作者未将类比推至推理，致后续难以跟进。（少数人） > 喜欢用拼字游戏类比训练，可惜类比没延伸到推理，跟丢思路。（@ninju）

关注 AI 推理将如 CPU 多轴演进并探寻重点创新领域

• 读者引述文章观点，认为推理将沿多维度创新，询问哪些提及领域影响最著。（少数人）