Hacker News 中文摘要

RSS订阅

Kimi K3.1 scores 55 on Artificial Analysis, placed on the Pareto line

在 Kimi K3.1 Pro 页面的 Intelligence 部分,开头介绍 Artificial Analysis Intelligence Index v4.3.2,称该指数纳入 10 项评估,具体为 AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 与 AA-LCR v1.1,并标注该模型目前没有公开可用的 API。之后在 Artificial Analysis Intelligence Index by Open Weights / Proprietary 小节里,页面再次给出同样的指数说明,重复列出这 10 项评估名称,依旧提示该模型没有公开可用的 API,同时引导阅读 Intelligence Index methodology,以查看每项评估的细分内容与运行方式。

正文

智能

Artificial Analysis 智能指数

Artificial Analysis 智能指数 v4.3.2 包含 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。

没有公开可用的 API。

Artificial Analysis 智能指数 v4.3.2 包含:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。详见智能指数方法论,其中包含各项评估的细分以及我们的运行方式。

按开源权重 / 专有划分的 Artificial Analysis 智能指数

这一分类表示模型权重是否可用。如果商业使用受条件限制,模型会被标记为“Commercial Use Restricted”(商业使用受限);如果许可证禁止商业使用,则标记为“Non-commercial”(非商业)。

智能指数与任务成本对比

Artificial Analysis 智能指数 · 每项 Artificial Analysis 智能指数任务的加权平均成本(美元)

最具吸引力象限

Pareto 线

每项智能指数任务的加权平均成本。每项评估的成本由输入、缓存命中(cache hit)、缓存写入(cache write)、推理和答案 token 价格得出,除以任务数,再按其在智能指数中的权重加权。

能力指数

衡量模型在特定能力和行业上的表现。

评估

由 Artificial Analysis 独立测量的评估 · AA-PersonalityBench 分数为 1 到 100 的百分位排名。

GDP.pdf

专业文档推理,All-pass

编程

终端中的智能体科研工作流

开源仓库中的智能体软件工程

法律智能体工作,幻觉门控全通过率(Hallucination-Gated All-Pass Rate)

智能体交互式 3D 体验,Elo

医疗长上下文推理

丰富、多样、精心打磨的语言

结构良好、可扫读、答案优先

真实,承认不确定性,不谄媚

填充词和通用语言的使用

虽然模型智能通常可以跨用例迁移,但具体评估可能与某些用例更相关。

AA-Briefcase v1.1

AA-Briefcase Elo

AA-Briefcase v1.1 是由 Artificial Analysis 开发的智能体知识工作基准。AA-Briefcase Elo 是一个综合指标(越高越好),聚合分析质量 Elo、展示 Elo 和评分标准通过率(rubric pass rate);评分标准表现通过合成一对一比赛转换为 Elo。Elo 和 95% 置信区间边界被限制在 0。

AA-Omniscience

AA-Omniscience 指数

AA-Omniscience 指数(越高越好)衡量知识可靠性和幻觉。它奖励正确答案,惩罚幻觉,拒答不受惩罚。分数范围为 -100 到 100,其中 0 表示正确与错误答案数量相同,负分表示错误多于正确。

Token 使用

每项智能指数任务的输出 Token 数

运行一项 Artificial Analysis 智能指数任务所用输出 token 的加权平均数。

每个智能指数任务所需的 token 数。其计算方法为:将每项评估的输出 token 数乘以各基准在智能指数中的相对权重,再除以任务数(不包括重复)。

成本

每项智能指数任务的成本

每项智能指数任务的加权平均成本(美元)· 按 token 类型细分 · 越低越好

运行 Artificial Analysis 智能指数的成本

运行 Artificial Analysis 智能指数中所有评估的成本(美元)。

运行该智能指数中各项评估的成本,使用模型的输入、缓存命中(cache hit)、缓存写入(cache write)、推理和答案 token 价格,以及各评估中使用的 token 数量(不包括重复)计算得出。

定价:缓存命中、输入与输出

价格(美元/百万 token)。

每个 token 的价格针对已缓存的提示(之前处理过的),相比常规输入价格通常有大幅折扣,以美元每百万 token 表示。此处显示的是缓存命中价格;缓存写入和缓存存储单独计费,且因提供商而异——详见“Cache pricing by provider”(按提供商划分的缓存定价)。

上下文窗口

上下文窗口

上下文窗口:token 上限 · 越高越好

更大的上下文窗口与 RAG(检索增强生成)LLM 工作流相关,这类工作流通常涉及对大量数据的推理和信息检索。

输入和输出 token 合计的最大数量。输出 token 的上限通常明显更低(因模型而异)。

速度

以输出速度(每秒 token 数)衡量。

输出速度

每秒输出 token 数 · 越高越好

模型生成 token 时每秒收到的 token 数(即对于支持流式传输的模型,在从 API 收到第一个数据块之后)。

图中数值代表模型第一方 API 的性能;若没有第一方 API,则为各提供商的中位数。

每项智能指数任务耗时

每项智能指数任务的加权平均解码时间(分钟)· 不包括 TTFT 和开销时间 · 越低越好

每项 Artificial Analysis 智能指数任务的加权平均时间(秒)。计算方法为:每项任务的输出 token 数除以输出速度,再按各基准在智能指数中的相对权重加权。

延迟

以首 token 时间(秒)衡量。

延迟:首个答案 token 时间

收到首个答案 token 的秒数 · 计入推理模型的“思考”时间

API 请求发出后收到首个答案 token 的秒数。对于推理模型,这包括模型在给出答案前的“思考”时间。对于不支持流式传输的模型,这表示收到完整结果的时间。

端到端响应时间

输出 500 个 token 的秒数,基于首 token 时间、推理模型的“思考”时间和输出速度计算得出。

端到端响应时间

输出 500 个 token 的秒数,包含推理模型的“思考”时间 · 越低越好

收到 500 token 响应所需的秒数。主要组成部分:

  • 输入时间(Input time):收到第一个响应 token 的时间
  • 思考时间(Thinking time,仅适用于推理模型):推理模型在给出答案前输出 token 进行推理所花费的时间。token 数量基于 60 个不同提示的平均推理 token 数(方法论细节)。
  • 答案时间(Answer time):基于输出速度生成 500 个输出 token 的时间

图中数值代表模型第一方 API 的性能;若没有第一方 API,则为各提供商的中位数。

评论

评论区未形成压倒性共识,主轴是如何读那张模型能力/成本图,以及基准分数能否代表真实体验:有人主张邻近模型比较应改用线性成本,有人借机称赞便宜快速的 DeepSeek 4.1 flash,也有人称实测中接近 Opus 的模型都不达标。@nektro 还把讨论指向另一则 Hacker News 帖子。

认为邻近模型比较应采用线性成本而非对数坐标

  • 对数坐标适合纵览全部可能性,但在比较相近模型时,线性成本口径更能反映实际决策所需的代价,因而更该用于邻近模型之间的取舍。(少数人) > 纵览全局时对数尺度有价值,但在相邻模型之间做选择时,线性成本通常更有用。(@jawns)

认为 DeepSeek 4.1 flash 便宜快速且相当可用

  • 图表反而让人更认可 DeepSeek 4.1 flash:它价格低、速度快,同时仍是相当不错的模型,说明性价比在实际选择中很有吸引力。(少数人) > 看这些图表让我更欣赏 DeepSeek 4.1 flash:又便宜又快,同时还是个相当不错的模型。(@dgellow)

认为基准分数无法体现 Anthropic Opus 的真实优势

  • 实测中所有号称接近 Opus 的模型都没达到预期,因此认为 Anthropic 模型存在基准测不出的隐性优势,基准接近不等于体验接近。(少数人) > 所有被测过、号称接近 Opus 的模型其实都没到那个水平,Anthropic 模型里有一点基准没展现出来的特殊优势。(@lnenad)