Hacker News 中文摘要

RSS订阅

DeepSeek V4.1 Flash 1017 (Max)

「深度求索 V4.1 Flash 1017(max)(DeepSeek V4.1 Flash 1017 (max))」页面的「智能(Intelligence)」部分首先列出「人工分析智能指数(Artificial Analysis Intelligence Index)」v4.3.2,说明该版本纳入 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 和 AA-LCR v1.1,并标注没有公开可用的 API。随后又说明 v4.3.2 包含上述评估,并指向智能指数方法论页面以了解每项评估的细分与运行方式;在按开源权重与专有(proprietary)划分的指数小节中,同样重复 v4.3.2 纳入这 10 项评估且无公开可用 API 的说明。

正文

智能

Artificial Analysis 智能指数

Artificial Analysis 智能指数 v4.3.2 包含 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 和 AA-LCR v1.1。该模型没有公开可用的 API。

有关各项评估的细分及运行方式,详见智能指数方法论。

按开源权重 / 专有模型划分的 Artificial Analysis 智能指数

该指标说明模型权重是否可用。若商业使用受条件限制,模型标记为 “Commercial Use Restricted”;若许可证禁止商业使用,则标记为 “Non-commercial”。

智能指数与单任务成本对比

图中展示 Artificial Analysis 智能指数与每项智能指数任务的加权平均成本(美元),并标出“最具吸引力象限”(Most attractive quadrant)和“帕累托线”(Pareto line)。

每项智能指数任务的加权平均成本计算方式:先根据输入、缓存命中、缓存写入、推理和回答 token 价格算出每项评估的成本,再除以任务数,并按其智能指数权重加权。

能力指数

衡量模型在特定能力和行业上的表现。

评估

以下智能评估由 Artificial Analysis 独立测量,分数越高越好。

  • 代理式知识工作(Agentic knowledge work),(Elo-500)/2000
  • 代理式现实世界任务(Agentic real-world work tasks),(Elo-500)/2000
  • GDP.pdf:专业文档推理,All-pass
  • 编程(Coding)
  • 物理推理(Physics reasoning)
  • 终端中的代理式科学研究工作流(Agentic scientific research workflows in a terminal)
  • 开源仓库中的代理式软件工程(Agentic software engineering in open-source repositories)
  • 法律代理工作,幻觉门控全通过率(Legal agentic work, Hallucination-Gated All-Pass Rate)
  • MLCR-AA:医学长上下文推理(Medical long context reasoning)

虽然模型智能通常可跨用例迁移,但特定评估可能更贴合某些用例。

AA-Briefcase v1.1 已更新

AA-Briefcase Elo

AA-Briefcase v1.1 是由 Artificial Analysis 开发的代理式知识工作基准。AA-Briefcase Elo 是一个综合指标,聚合分析质量 Elo、展示 Elo 和评分标准通过率;其中评分标准表现会通过合成的头对头匹配转换为 Elo。分数越高越好。Elo 及 95% 置信区间边界被截断在 0。

AA-Omniscience

AA-Omniscience 指数

AA-Omniscience 指数(越高越好)衡量知识可靠性与幻觉情况:答对得分,产生幻觉扣分,拒答不扣分。分数区间为 -100 到 100,0 表示正确与错误答案数量相当,负分表示错误多于正确。

开放性指数

Artificial Analysis 开放性指数:得分

开放性指数在 0 到 100 的归一化尺度上评估模型开放程度,分数越高越开放。

Token 使用情况

每项智能指数任务的输出 Token 数

运行 Artificial Analysis 智能指数中一项任务所用输出 token 的加权平均数。该数值由各基准在智能指数中的相对权重乘以每项评估的输出 token 数,再除以任务数(不含重复)得出。

成本

每项智能指数任务的成本

每项智能指数任务的加权平均成本(美元),按 token 类型细分,越低越好。

运行 Artificial Analysis 智能指数的成本

运行 Artificial Analysis 智能指数中所有评估的成本(美元),根据模型的输入、缓存命中、缓存写入、推理和回答 token 价格,以及各评估使用的 token 数量(不含重复)计算得出。

定价:缓存命中、输入与输出

价格(美元 / 百万 Token)。此处展示的是缓存提示(此前已处理)的每 token 价格,通常相比常规输入价格有明显折扣,以美元每百万 token 表示。图中数值为缓存命中价格;缓存写入和缓存存储单独计费,且因提供商而异,详见“Cache pricing by provider”。

上下文窗口

上下文窗口

上下文窗口:token 上限,越大越好。更大的上下文窗口对 RAG(Retrieval Augmented Generation,检索增强生成)LLM 工作流很重要,这类工作流通常涉及对大量数据的推理和信息检索。它是输入与输出 token 合计的最大值;输出 token 的上限通常低得多(因模型而异)。

速度

以输出速度(token / 秒)衡量。

输出速度

每秒输出 token 数,越高越好。该指标是模型生成 token 时(对于支持流式传输的模型,指从 API 收到第一个数据块之后)每秒接收到的 token 数。图中数值代表模型第一方 API 的性能;若无第一方 API,则取各提供商的中位数。

每项智能指数任务耗时

每项智能指数任务的加权平均解码时间(分钟),不包括首 token 时间(TTFT)和开销时间,越低越好。

每项 Artificial Analysis 智能指数任务的加权平均时间(秒)由每项任务的输出 token 数除以输出速度,再按各基准在智能指数中的相对权重加权得出。

延迟

以首 token 时间(秒)衡量。

延迟:首个回答 token 时间

收到首个回答 token 的秒数,并计入推理模型的“思考”时间。指从发送 API 请求后到收到首个回答 token 的秒数。对推理模型,这包括模型给出回答前的“思考”时间。对不支持流式传输的模型,这代表收到完整结果的时间。

端到端响应时间

输出 500 个 token 所需的秒数,根据首 token 时间、推理模型的“思考”时间和输出速度计算。

端到端响应时间

输出 500 个 token 所需的秒数,包含推理模型的“思考”时间,越低越好。接收 500 token 响应的秒数由以下部分组成:

  • 输入时间:收到第一个响应 token 的时间。
  • 思考时间(仅限推理模型):推理模型在给出回答前,为推理而输出 token 所花的时间。token 数量基于 60 个多样化提示的平均推理 token 数(方法论详情)。
  • 回答时间:基于输出速度生成 500 个输出 token 的时间。

图中数值代表模型第一方 API 的性能;若无第一方 API,则取各提供商的中位数。

模型规模(仅限开源权重模型)

模型规模:总参数与激活参数

模型总参数与推理时激活参数(十亿)的对比。总参数指模型中可训练权重和偏置的总数,以十亿计;这些参数在训练中学习,决定模型处理和生成回答的能力。激活参数指每次推理前向传播中实际执行的参数数量,以十亿计。对于混合专家(MoE)模型,路由机制会为每个 token 选择一部分专家,因此激活参数少于总参数。稠密模型使用全部参数,激活参数等于总参数。

评论

讨论气氛总体认可新 DeepSeek 开源模型的效率、速度和日常可用性,但分歧也相当清楚。少数意见认为基准分数和热度夸大了它相对 MiMo、GPT 或上一代的实际优势,并指出它在消费级硬件和小众专业任务上仍有明显局限。

认为新模型在更小参数下接近开源 SOTA 且适合日常使用

  • 参数约 552B(被动 536B、激活 16B),只有 MiMo v2.6 Pro(约 1020B)一半左右,却在多数任务上接近后者,且推理速度快、更省 token;配合开源权重和本地高速设施,已被一些用户当作稳定主力,甚至直接成为日常模型。不过也有反馈称它仍偏啰嗦,需要后续微调来提升 token 效率。(认可度:较多人)
  • > 它已经成了我现在的日常模型。(@kindlejiang)

认为基准分数与热度夸大了新模型的实际优势

  • 按任务成本和耗时看,GPT 6.1 Sol 的中等档反而比满血档的 DeepSeek 更便宜、更快;MiMo 2.6 Pro 分数相近却只要半价,却没有同等热度。内部评测也显示,新模型只是更省 token,得分并未超过上一代,且在网络安全、逆向、硬件探测等场景可能仍不如 GLM-5.3。(认可度:少数人)
  • > 按任务计算,GPT 6.1 Sol 的中等档其实更便宜也更快,用满血档对比并不现实。(@Tiberium)

指出消费级硬件与小众专业任务上仍不可用

  • 即便只要求极低 TPS、能过夜跑出可接受结果的“够用智能”,128GB 内存加 2080 Ti 这类消费级配置似乎仍不够;在乐谱识别等任务上模型依然失败,能胜任的 Astra 又过于昂贵,说明基准分数无法覆盖所有真实需求。(认可度:少数人)
  • > 在 128GB 内存和 2080 Ti 上,似乎连低到可以过夜运行的可用智能都还做不到。(@aliljet)

有价值的补充

  • 模型工程被视为“权衡”的艺术:可以在 SOTA、速度、价格、显存等不同轴之间取舍;开源权重的价值正是把不同实验室的取向都交给用户选择,而当前创新扩散极快,好想法会被各家互相吸收。(@Imustaskforhelp)
  • 新模型的思维链(CoT)相比旧版变化很大,因此“重度 Astra 蒸馏”的说法显得可信;旧版偶尔会陷入模仿 Claude 的“Claudisms”,新版则更聚焦、锐利。(@lhl)
  • 领域能力并不均衡:GLM-5.3 在网络安全、逆向、硬件探测上依旧突出,新模型未必达到同一水平;乐谱识别这类小众需求依然只有昂贵的 Astra 能较好处理。(@lhl、@amelius)
  • 除 DeepSeek 外,英伟达 nemotron 120B 等模型也展示了很高的 TPS,让人期待未来通用硬件上能跑出更好的推理速度;此外有建议通过专项微调来改善模型“啰嗦”、提升 token 效率。(@Imustaskforhelp)