人工智能分析(Artificial Analysis)的智能指数(Artificial Analysis Intelligence Index)v4.3.2 整合了10项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。该版本状态标注为未公开可用,文中随后重复相同评估列表并指向方法论文档以查看各评估细分与运行方式。此开头部分仅罗列指数版本与评估构成,未涉及模型具体表现数据。
正文
智力更新
Artificial Analysis 智力指数
Artificial Analysis 智力指数 v4.3.2 整合了 10 项评测:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。Gemini 4 Argon 的相关数据未公开。详见智力指数方法论。
按开放权重 / 专有划分的 Artificial Analysis 智力指数
该指数同样涵盖上述 10 项评测,本模型数据未公开。此分类标示模型权重是否开放:若商业使用受条件限制则标为“商业使用受限”,若许可证禁止商用则标为“非商业”。
能力指数
衡量模型在特定能力与行业上的表现,本模型数据未公开。
智力评测
由 Artificial Analysis 独立评测,分值越高越好,本模型数据未公开。涵盖以下维度: - 代理知识工作,(Elo-500)/2000 - 代理真实工作任务,(Elo-500)/2000 - 代理 SaaS 工作流 - 代理编码与终端使用 - 编码 - 专业文档推理(全通过) - 物理推理 - 终端中的代理科研流程 - MLCR-AA - 医疗长上下文推理
虽然模型智力通常跨用例通用,但特定评测可能对某些用例更相关。
AA-Briefcase v1.1 更新
AA-Briefcase Elo
AA-Briefcase v1.1 是 Artificial Analysis 开发的代理知识工作基准。AA-Briefcase Elo 为综合指标,聚合评分通过率、分析质量 Elo 与呈现 Elo,越高越好,本模型数据未公开。其将评分表现通过合成两两对比转为 Elo,再聚合分析质量 Elo、呈现 Elo 与评分通过率;Elo 及 95% 置信区间下限截断为 0。
AA-Omniscience
AA-Omniscience 指数
该指数(越高越好)衡量知识可靠性与幻觉程度,奖励正确答案、惩罚幻觉,拒答不扣分。分数范围 -100 到 100:0 表示正确答案与错误答案各半,负分表示错多于对。本模型数据未公开。
智力指数对比
智力指数 vs 每个智力指数任务成本
Artificial Analysis 智力指数 · 每个智力指数任务的加权平均成本(美元)。图中标出最具吸引力象限与帕累托线。各评测成本由输入、缓存命中、缓存写入、推理和答案 token 价格算出,除以任务数并按智力指数权重加权。本模型相关数据未公开。
Token 使用
每个智力指数任务的输出 Token 数
运行智力指数中单个任务的加权平均输出 token 数,本模型数据未公开。计算方式为:各评测输出 token 乘以其在指数中的相对权重,再除以任务数(不含重复)。
成本
每个智力指数任务的成本
按 token 类型分段的加权平均成本(美元),越低越好,本模型数据未公开。计算方式同上,基于输入、缓存命中、写入、推理与答案 token 价格加权。
运行 Artificial Analysis 智力指数的成本
运行指数中所有评测的成本(美元),本模型数据未公开。依据模型各项 token 价格与评测总 token 数(不含重复)计算。
定价:缓存命中、输入和输出
价格(美元/百万 token),本模型数据未公开。缓存提示(已处理)的每 token 价格通常较常规输入价有明显折扣,此处显示为缓存命中价;缓存写入与存储单独计费,因供应商而异,详见“各供应商缓存定价”。
上下文窗口
上下文窗口
token 数量限制,越高越好,本模型数据未公开。更大上下文窗口与 RAG(检索增强生成)工作流相关,通常涉及大量数据的推理与信息检索。其指最大输入输出 token 总和,而输出 token 限制通常明显更低(因模型而异)。
评论
整体气氛偏失望:多数人认为这次发布在性能与价格上都没能拉开差距,只是"回到前沿对话里",少数人则从幻觉率、Google 的算力与搜索体量、以及不打价格战的博弈逻辑里看到更长期的胜算。分歧主轴是"这一次发布的绝对水平"与"Google 的长期位置"。
认为这次发布平庸,没能追上 Opus 5.5
- 基准上只能和便宜的同类模型打平,明显不如 Opus 5.5,排第三却与现有更便宜的模型相当,若诚实自评大概只能拿 C;Google 长期远离前沿,靠预发布刷存在感(较多人) > 和 Mimo v2.6、6.1-Sol 打平手,明显不如 Opus 5.5;以安全为由推迟发布,看着有点滑稽。(@ADEPT)
质疑"安全原因推迟发布"的说法
- 在多条批评里被顺带嘲讽,认为这是形象包装而非实质理由(少数人)
价格是唯一亮点,但 Google 未必愿意打价格战
- 关注点集中在每任务成本是否划算,同时观望实际表现;更进一步的博弈论视角认为,Google 有能力按成本卖 token 挤死对手,但长期不如让全行业保持健康利润率,何况它还能靠卖算力与服务再赚一笔,所以不打价格战才是最优解(较多人) > Google 若真想挤走竞争可以按成本卖 token,但长期看大家都保住利润对它更好,它还能靠卖算力二次获利。(@ai-x)
把 Google 视为安静的潜在王者
- OpenAI 的领先很大程度来自不断重置额度带来的性价比,如今在价格上被蚕食、性能上被追平;而 Google 通过搜索产品消耗的 token 可能比任何人都多,只是安静地跟在前沿,是"沉默的睡王"(少数人) > 所有人都在盯着别人,但我敢说 Google 搜索消耗的 token 比谁都多,它只是安静地跟着前沿节奏。(@aliljet)
用户已被 Claude 和 ChatGPT 占住,切换动力不足
- 多模型并用者表示会观察 Gemini 能否好到让自己退订其中一个,但目前 Claude / ChatGPT 的位置稳固;另有付费订阅者吐槽体验不达预期并主动降级,甚至 20 美元/月的付费计划仍被提供旧版模型(较多人) > 我不确定 Google 还能插进来,Claude 和 ChatGPT 已经占住了位置;我两个都在用,只会看 Gemini 能否好到让我退掉其中一个。(@lhk931122)
幻觉率大幅下降才是最值得注意的进步
- 在这代模型此前最被诟病的短板上出现明显跃升,反直觉地成为整张图里最亮的一项(少数人) > 对我来说最impressive的是低幻觉率,考虑到 Gemini 现有模型在这方面有多差,这个进步尤其突出。(@algoth1)
不公开就无法独立验证
- 模型未对外开放,第三方无法跑自己的基准,只能看官方图表,这在讨论中削弱了对结论的信任(少数人)
有价值的补充
- Flash 这条线一直做得不错,图像、音频和实时模型也都有口碑,所以问题不是 Google 全线掉队,而是主线旗舰的位置尴尬(@mchusma、@godbox)。
- "最后发布的模型总是最好的,实验室提前就知道"这类玩笑代表了社区对发布节奏和排行榜时效性的普遍疲劳(@jwpapi)。
- 讨论同时指向另一个正在进行中的 Gemini 4 Argon 线程,说明话题热度集中在同一批次发布上(@dang)。