深度求索（DeepSeek）的 DeepInfer 是支撑其大规模生产服务的高性能推理框架，本次开源版本面向离线推理，提供规模化服务所需的核心特性，支持深度求索-V4.1-Flash（DeepSeek-V4.1-Flash）模型。其特性包括优化内核、模型与采样器运行时，以及注意力数据并行与均衡上下文并行、MoE EP + EPLB 并行，并引入 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出。

DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架。本次开源版本提供离线推理，并具备大规模服务所需的核心特性。

支持模型

DeepSeek-V4.1-Flash

支持特性

• 优化内核、模型与采样器运行时
• 并行：Attention DP / balanced CP、MoE EP + EPLB
• DSpark 与置信度调度验证
• SWA 有界重放
• 异步调度（零开销批调度器）
• 批不变推理
• 确定性采样
• 结构化输出

特性详情与配置

优化内核：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自定义 TileLang 内核。

DSpark 与置信度调度验证：通过 draft tokens 加速解码，并利用置信度估计来调度验证。设置 DEEPINFERENABLEMTPVARLEN=1；DEEPINFERUSENEXTNDECODE 控制最大 draft 长度（默认 5）。

解码器 SWA 有界重放：仅重放有限长度的后缀，以减少解码器 prefill 计算量。默认 V4.1 设置下，设置 DEEPINFERYOCOPREFILLTRUNCATIONMODE=compact 和 DEEPINFERYOCOPREFILLKEEPTOKENS=140；保留的后缀必须覆盖 SWA 窗口加上最大回溯长度。

异步调度：将 CPU 批调度与设备执行重叠，默认启用。

批不变推理：在不同的批组成下保持模型结果一致。通过 DEEPINFERBATCHINVARIANT=1 启用（仅 NVIDIA）。

确定性采样：对相同的输入 token 和采样参数产生相同输出。设置 DEEPINFERBATCHINVARIANT=1、DEEPINFERENABLEMTPVARLEN=0，并向 SamplingParams 传入固定的 seqseed（仅 NVIDIA）。

结构化输出：将生成约束在正则表达式、JSON schema 或 EBNF 文法内。向 SamplingParams 传入 soargs={"schematype": ..., "schema": ...}；示例见 examples。

支持硬件

NVIDIA SM100 GPU

Huawei Ascend 950 NPU

完整推理服务所需组件（本版本未包含）

• KV 缓存系统
• VE/Prefill/Decode 分离（大部分所需引擎功能已实现）
• prefill 与 decode 在数据并行副本间的负载均衡

入门

先决条件

• Linux
• GCC >= 13.0
• Python 3.12
• CUDA 13（仅 NVIDIA）
• CANN 9.2（仅 Ascend）

从源码构建

在构建 DeepInfer 前，请创建并激活一个空的 Python 3.12 环境。构建时，NVIDIA 平台导出 DEEPINFER_ACCELERATOR=nvidia，Ascend 平台则改为 ascend；该变量需要在运行 DeepInfer 的环境中保持导出，随后运行 ./build.sh。

离线推理

默认检查点 deepseek-ai/DeepSeek-V4.1-Flash-1017 会在首次运行时下载到 Hugging Face 缓存；若要从本地副本运行，请设置 DEEPINFERHFMODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017。

运行 python examples/offline_inference.py，详见 examples。

性能基准

Prefill 与 Decode

prefill 在 4 个 SM100 GPU 上测量，decode 在 64 个 SM100 GPU 上测量，二者各自位于同一个 scale-up 域内。要复现基准，参见 run_sweep.sh。

评估基准

参见 eval/README.md。

许可证

DeepInfer 依据 Apache License 2.0 发布，详见 LICENSE。

致谢

DeepInfer 最初主要基于 vLLM 构建，并额外借鉴了 SGLang 和 TensorRT-LLM。感谢它们的开发者。

引用

讨论整体被 DeepSeek 这次推理系统开源与披露的高吞吐、低延迟和单卡收入数据点燃，多数人惊叹其为“核弹级”冲击，认为会重创美国前沿实验室的万亿估值叙事。分歧主要集中在三点：动机是否属于国家战略布局或已转向华为、开源是否完整放出 KV Cache 等核心系统，以及它能否真正撼动 NVIDIA 与 OpenAI/Anthropic 的商业模式。

认为这是核弹级冲击，将重创美国前沿实验室的万亿估值叙事

• 单集群日吞吐155万亿 tokens、低延迟，且单卡每小时收入38美元（非高峰定价），被直接形容为“核弹”，显示其大规模推理服务能力和商业化效率。（高赞） > “基于该框架，DeepSeek V4.1 Flash 实现了高吞吐、低延迟的大规模推理服务，单集群日吞吐155万亿 tokens，单卡每小时收入38美元。”（@schneehertz）
• 认为这对美国前沿实验室是神风特攻式打击，通往万亿美元估值的路被堵死，甚至可视为战略破坏，风投会转而呼吁封禁开放权重模型。（较多人）
• 有人以“是时候把 Dario 和 Sam 拉回地球”调侃，认为闭源实验室的高估值叙事和戏精姿态将被拉回现实。（少数人）

认为开源背后是战略布局，而非单纯做慈善

• 认为部分动机是中和竞争对手的技术，但最终核心可能仍在于数据；国家行为体若允许开源，说明其背后有战略收益，或仅因当前闭源并不重要。（较多人） > “部分原因是为了中和竞争对手的技术，但最终核心可能还是数据。”（@jdw64）
• 认为 DeepSeek 是因为不再需要这套系统才开源，可能已在华为平台上做更好的东西；配合“我们盈利、分享研究成果与机制、且不需要你们”的姿态，被视为向西方芯片与资本宣告独立。（较多人）
• 提醒把 Torvalds 式的学生开源和国家级行为体等同起来是天真的，国家行为体开源代码服务于整体经济和战略。（少数人）
• 少数人上升到经济模式层面，称中国把 AI 当原材料，全面开源有助于整体经济增长，靠公司提供 AI 服务的旧模式正崩塌。（少数人）

认为支持华为 Ascend 将挑战 NVIDIA 并改变全球 AI 硬件格局

• 开源推理代码支持华为 Ascend（Ascend 950 NPU），让中小实验室能在此基础上扩展兼容硬件、软件和模型，被认为会严重挑战 NVIDIA 的致命掌控。（较多人）
• 若未来连在华为芯片上的训练也开源，影响会比仅开源推理更大。（少数人）
• 配合中国芯片、庞大且廉价的电力，以及即将到来的内存供应，西方对华芯片与 EUV 管制被视为“乌龙球”，中国廉价推理和硬件生态会加速替代 NVIDIA。（较多人）

质疑发布并不完整，核心 KV Cache 系统未真正开源

• 有人明确指出开源内容中缺少 KV Cache 系统，而它对任何严肃推理托管都是供需双方绕不开的必需项；也有人猜测 DeepSeek 其实有这套系统，只是尚未开源。（较多人）
• 虽然技术目标声称支持 KV Cache 保留 72 小时以上、可能带来 0.00X 美元量级的缓存输入成本，但缺少系统实现让人怀疑能否复现。（较多人）
• 质疑整体只是“搅局”而非“开箱即用”：还不足以让人克隆后指向自有 H100 集群并跑起生产服务，因此 Anthropic 和 OpenAI 仍会活得不错。（少数人）

认为实际性能增益与自建部署门槛仍待验证

• 由于官方称受 vLLM 和 SGLang 启发，社区好奇实际吞吐/延迟增益，以及相比现有引擎的优势；也有人询问 Fireworks、Novita 等服务商当前是否使用其他推理引擎。（较多人）
• 实际部署门槛和基准测试仍是问号：发布看起来热闹，但能否在自有硬件上复现、与 vLLM/SGLang 硬碰硬，还需观察。（少数人）
• 仓库两小时内涌入约20个合并请求，且初看都还算合理，显示极高社区热度，也让维护者庆幸自己不用接锅。（少数人）

认为 API 虽便宜但缺订阅制，开发者仍有账单不确定性

• 有用户已从 Claude Max 转向 DeepSeek API，称赞 V4.1 Flash 快、几乎不拒答，并希望尽快推出包月套餐。（少数人）
• 尽管 API 单价比 OpenAI/Anthropic 便宜，但缺少固定月费的订阅制，开发者反而因用量不确定而“用不起”；很多人仍愿为 OpenAI/Anthropic 的 20/100/200 美元套餐买单，因为可预测、省心。（较多人） > “即便 API 更便宜，我还是‘用不起’，因为 OpenAI/Anthropic 的订阅让我确切知道每月要花多少、更安心。”（@mekpro）

赞赏 DeepSeek 低调交付、不搞发布噱头

• 最让人耳目一新的是它再次“无预告、无戏剧、连网站都没有”，直接把成果免费交出来，延续了 DeepSeek 式的交付风格。（较多人）

有价值的补充

• 概念区分：本次讨论的“开源”主要是推理框架/系统等代码，并不等于开放模型权重；开放权重与开源代码是两回事。（来自 @HelldezNoBan 的提醒）
• 美国与部分欧洲推理服务商（Together.ai、Baseten 等）已经在 DeepSeek V4.1 Flash 1017 上实现比 DeepSeek 官方更高的吞吐、更低延迟和更低端到端延迟，说明围绕中国开源权重模型的优化竞争已经外溢到西方服务商。（@draxen）
• 硬件租金对比：H100 租用价约 2.75 美元/小时，而 DeepSeek 称单卡每小时收入 38 美元，但未说明具体卡型，引发对其成本结构和实际硬件（如华为 Ascend）的追问。（@xrisk）