Artificial Analysis 的 Intelligence Index v4.3.2 共纳入 10 项评测,分别是 AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 和 AA-LCR v1.1。页面上方先展示该指数的更新情况,随后按开放权重与专有模型两类分别列出结果;评测方法论页面还进一步说明每项评测的具体内容,以及这些评测的运行方式。
正文
智能(已更新)
Artificial Analysis 智能指数
Artificial Analysis 智能指数 v4.3.2 包含 10 项评测:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。详见智能指数方法论,其中包含每项评测的细分以及运行方式。
按开放权重/专有划分的 Artificial Analysis 智能指数
标明模型权重是否可用。如果商业使用受条件限制,模型标记为“商业使用受限”;如果许可证禁止商业使用,则标记为“非商业”。
能力指数
衡量模型在特定能力和行业上的表现。
智能评测
由 Artificial Analysis 独立测量的智能评测 · 越高越好
- 智能体知识工作,(Elo-500)/2000
- 智能体真实工作任务,(Elo-500)/2000
- 智能体 SaaS 工作流
- 智能体编程与终端使用
- 专业文档推理,全通过
- 医学长上下文推理
尽管模型智能通常可以跨用例迁移,但特定评测可能对某些用例更相关。
AA-Briefcase v1.1(已更新)
AA-Briefcase Elo
AA-Briefcase v1.1 是 Artificial Analysis 开发的智能体知识工作基准。AA-Briefcase Elo 是一个综合指标,汇总了评分标准通过率、分析质量 Elo 和展示 Elo · 越高越好
AA-Briefcase Elo 汇总分析质量 Elo、展示 Elo 和评分标准通过率,评分标准表现通过合成头对头比赛转换为 Elo。Elo 和 95% 置信区间下限被限制在 0。
AA-Omniscience
AA-Omniscience 指数
AA-Omniscience 指数(越高越好)衡量知识可靠性和幻觉。它奖励正确答案,惩罚幻觉,对拒绝回答不惩罚。分数范围从 -100 到 100,0 表示正确和错误答案一样多,负分表示错误多于正确。
开放性指数
Artificial Analysis 开放性指数:分数
开放性指数以 0 到 100 的归一化尺度评估模型开放性(越高越开放)
智能指数对比
智能指数 vs. 每项智能指数任务成本
Artificial Analysis 智能指数 · 每项 Artificial Analysis 智能指数任务的加权平均成本(美元)
- 最具吸引力的象限
- 帕累托线
每项智能指数任务的加权平均成本。每项评测的成本由输入、缓存命中、缓存写入、推理和答案 token 价格计算,除以任务数,并按其在智能指数中的权重加权。
Token 使用
每项智能指数任务的输出 token 数
运行一项 Artificial Analysis 智能指数任务所用的加权平均输出 token 数
每项智能指数任务所需的 token 数。计算方法是将每项评测的输出 token 数乘以各基准在智能指数中的相对权重,再除以任务数(不包括重复)。
成本
每项智能指数任务成本
每项 Artificial Analysis 智能指数任务的加权平均成本(美元),按 token 类型细分。越低越好
每项智能指数任务的加权平均成本。每项评测的成本由输入、缓存命中、缓存写入、推理和答案 token 价格计算,除以任务数,并按其在智能指数中的权重加权。
运行 Artificial Analysis 智能指数的成本
运行 Artificial Analysis 智能指数中所有评测的成本(美元)
使用模型的输入、缓存命中、缓存写入、推理和答案 token 价格以及各评测所用 token 数(不包括重复)计算。
定价:缓存命中、输入和输出
价格(美元/百万 token)
缓存提示(已处理过的)的每 token 价格,通常比常规输入价格有显著折扣,以美元/百万 token 表示。此处显示的是缓存命中价格;缓存写入和缓存存储单独计费,因提供商而异——详见“按提供商划分的缓存定价”。
上下文窗口
上下文窗口
上下文窗口:token 限制 · 越高越好
更大的上下文窗口与 RAG(检索增强生成)LLM 工作流相关,这类工作流通常涉及大量数据的推理和信息检索。
输入和输出 token 的最大合计数量。输出 token 通常有显著更低的上限(因模型而异)。
速度
以输出速度衡量(token/秒)
输出速度
每秒输出 token 数 · 越高越好
模型生成 token 时每秒接收的 token 数(即对于支持流式的模型,在收到 API 的第一个 chunk 之后)。
数字代表模型第一方 API 的表现,或没有第一方 API 时各提供商的中位数。
每项智能指数任务时间
每项任务的加权平均解码时间(分钟);不包括 TTFT 和开销时间 · 越低越好
每项 Artificial Analysis 智能指数任务的加权平均时间(秒)。计算方法是将每项任务的输出 token 数除以输出速度,并按各基准在智能指数中的相对权重加权。
延迟
以首个 token 时间衡量(秒)
延迟:首个答案 token 时间
收到首个答案 token 的秒数 · 计入推理模型的“思考”时间
API 请求发送后收到首个答案 token 的时间(秒)。对于推理模型,这包括模型给出答案前的“思考”时间。对于不支持流式的模型,这代表收到完整响应的时间。
端到端响应时间
输出 500 token 的秒数,基于首个 token 时间、推理模型的“思考”时间和输出速度计算
端到端响应时间
输出 500 token 的秒数,包括推理模型的“思考”时间 · 越低越好
收到 500 token 响应的秒数。关键组成部分:
- 输入时间:收到首个响应 token 的时间
- 思考时间(仅推理模型):推理模型在给出答案前输出 token 进行推理的时间。token 数量基于 60 个多样化提示的平均推理 token 数(方法论详情)
- 答案时间:生成 500 个输出 token 的时间,基于输出速度
数字代表模型第一方 API 的表现,或没有第一方 API 时各提供商的中位数。
模型规模(仅开放权重模型)
模型规模:总参数和活跃参数
总模型参数与推理期间活跃参数的对比
模型中可训练权重和偏置的总数,以十亿为单位。这些参数在训练期间学习,决定模型处理和生成响应的能力。
每次推理前向传递中实际执行的参数数量,以十亿为单位。对于混合专家(MoE)模型,路由机制为每个 token 选择一部分专家,因此活跃参数少于总参数。稠密模型使用所有参数,因此活跃参数等于总参数。
评论
多数人肯定 MiMo-V2.6 Pro 的极低训练与调用成本及可用智能,少数人质疑其排行榜分数高于 DeepSeek 的可信度与页面标称排名矛盾。
质疑评测分数与标签的真实性
- 用户指出 MiMo 分数仅比 DeepSeek 高少许但排名跃升可疑,且附录显示 DeepSeek 有时反超;另有人发现页面顶部标称 #1/114 但与下方图表不符(较多人) > 根据附录,DeepSeek 模型有时能力超过 MiMo 且差距不大,分数却低不少令人起疑(@egeres)
认为 MiMo-V2.6 Pro 价格优势明显但速度不及顶尖
- 独立基准显示其比 DeepSeek 快但远慢于 Claude 等领先模型,训练与缓存成本极低使其性价比突出;另有用户称前代易循环但能力被低估,期待 v2.6 修正(较多人) > 自测比 DeepSeek 快但远慢于领先模型,真正亮眼的是定价(@dom96)
因 OpenAI 限制与智能下降转投中国模型
- 有用户表示 OpenAI 用量限制骤减且输出智能日间不稳定,开始认真试用 MiMo 等中国模型,不介意响应稍慢(少数人) > OpenAI 用量限制骤减且智能下滑,我打算认真试这些中国模型,只要每天表现稳定(@Gareth321)
疑问评测未涵盖某些模型版本
- 有用户问及为何不对比 Sol 模型,以及已发布的 Flash 版为何缺席比较(少数人)
有价值的补充
- dom96 自研基准 KillSwitch-Bench 1.0 显示 MiMo-V2.6-Pro 得分 38.8,介于 Claude Fable 5.1 (46.7) 与 Muse Spark 1.3 (36.5) 之间,领头为 Claude Opus 5 (66.9) 和 GPT-6 Astra (57.9)。
- 小米披露 MiMo v2.6 训练成本仅 347 万美元,远低于一线大厂预估的 1 亿美元以上,缓存费率每百万 token 0.0036 美元。