人工分析智能指数(Artificial Analysis Intelligence Index)v4.3.2 正式整合了 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 以及 AA-LCR v1.1。该指数 v4.3.2 包含的评估与此相同,进一步的方法论说明了每项评估的拆解与运行方式。在按开放权重与专有划分的类别中,这一指数同样纳入了上述 10 项评估。
正文
智能更新
Artificial Analysis 智能指数
Artificial Analysis 智能指数(AAII)v4.3.2 包含 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。详见智能指数方法论。
按开放权重/专有划分的 Artificial Analysis 智能指数
该指数标明模型权重是否开放。若商用受条件限制标为“Commercial Use Restricted”,许可证禁止商用则标“Non-commercial”。
能力指数
衡量模型在特定能力与行业上的表现。
智能评估
由 Artificial Analysis 独立测量的智能评估,分值越高越好:
- 代理式知识工作((Elo-500)/2000)
- 代理式真实工作任务((Elo-500)/2000)
- 代理式 SaaS 工作流
- 代理式编码与终端使用
- 专业文档推理(全过)
- 医疗长上下文推理
虽然模型智能通常跨用例通用,特定评估可能对某些场景更相关。
AA-Briefcase v1.1 更新
AA-Briefcase Elo
AA-Briefcase v1.1 是 Artificial Analysis 开发的代理式知识工作基准。AA-Briefcase Elo 是综合指标,聚合分析质量 Elo、呈现 Elo 与评分通过率,评分表现通过合成对战转为 Elo,分值越高越好。Elo 及 95% 置信区间下界钳制在 0。
AA-Omniscience
AA-Omniscience 指数
AA-Omniscience 指数(越高越好)衡量知识可靠性与幻觉:奖励正确答案,惩罚幻觉,拒绝回答不扣分。分数范围 -100 到 100,0 表示对错各半,负分表示错多于对。
智能指数对比
智能指数 vs. 每智能指数任务成本
展示 Artificial Analysis 智能指数与每任务加权平均成本(美元)的关系,标出“最具吸引力象限”和“帕累托线”。每任务加权平均成本由各评估的输入、缓存命中、缓存写入、推理及回答 token 价格算出,除以任务数并按指数权重加权。
Token 使用
每智能指数任务的输出 Token 数
运行一个智能指数任务所需的加权平均输出 token 数。计算方式:各评估输出 token 乘其在指数中的相对权重,再除以任务数(不含重复)。
成本
每智能指数任务成本
按 token 类型分段的每智能指数任务加权平均成本(美元),越低越好。成本计算方式同上(输入、缓存命中、缓存写入、推理、回答 token 价格加权)。
运行 Artificial Analysis 智能指数的成本
运行指数中所有评估的总成本,依据模型各项 token 价格及评估总 token 数(不含重复)计算。
定价:缓存命中、输入与输出
价格为每百万 token 美元。缓存提示(曾处理过)的每 token 价格通常比常规输入价折扣明显;此处显示缓存命中价,缓存写入与存储另计且因提供商而异。
上下文窗口
上下文窗口指 token 数量限制,越高越好。更大的窗口对 RAG(检索增强生成)工作流很重要,常需对大量数据推理与检索。其最大值为输入与输出 token 合计,而输出 token 通常限制更低(因模型而异)。
评论
讨论围绕 Claude Opus 5.5 在人工分析网站上的横评展开,气氛以怀疑为主:多数人质疑榜单分数能否代表真实能力、并担心拉高推理档位后会变得不实用;少数人肯定它在成本和默认档位上的性价比,也有人觉得实际用下来没什么感觉。
认为这个指数说明不了模型好坏
- 榜单把 Opus 5 排在 Astra 前面,而 Opus 5 是今年以来最差的发布之一,看到数字上涨也推不出任何结论(较多人) > 模型刚出来,可能不错甚至很好,我不否认;但一个把 Opus 5 排在 Astra 前面的指数,数字变大能让我们推断出什么?(@qsort)
- “相比同价位其他模型偏贵”这类评价只暴露了作者自己圈定的对比区间,跟模型本身无关(少数人)
担心厂商先冲榜、再悄悄降质
- 有用户用内部数据集复测,发现某模型的最新表现几周内就回落到更低档位的水平;评测应该在发布数周后重跑,而不是只看首发数据(较多人) > 厂商想快速证明自己最强,用户切过去之后,就把地毯抽走了。(@breckenedge)
认为 max 档会想太多,反而交不出答案
- 两次让 max 档画“骑自行车的鹈鹕”都失败,因为还在推理阶段就把 12.8 万 token 预算耗光了;如果这么容易想过头,max 可能几乎没有实用价值(较多人) > 我怀疑 max 档可能几乎没用,它太容易过度思考,以至于根本走不到给出回答那一步。(@simonw)
认为 high 档才是性能与成本的最佳落点
- 与 Opus 5 做 high 对 high 的比较,每个任务的成本只有一半,这一点相当讨喜(较多人) > 和 Opus 5 的 high 对 high 相比,每任务成本只有一半,这真的让人舒服。(@hglaser)
- 许多基准在 high 之后就开始走平,这一档本身已经优于 Fable,初步实测也跑得很好(较多人)
担心指令遵循和上下文保持能力退步
- 有用户回退到 4.8:新版本常常解到一半就迷失方向、开始跑题,需要反复重申自己想做什么;在这方面的稳定性更像 haiku 而不像 4.8(较多人) > 5 经常解到一半就丢了方向、开始跑题,我不得不中途打断它;在这一点上 4.8 稳定得多。(@linuxrebe1)
觉得实际使用中察觉不到明显变化
- 发布前已经用了不少时间,几乎没注意到差别;代码质量也许略好,但依然算不上出色,只是用起来没那么难受(少数人)
认为这是一次刻意压低的发布
- 发布相当安静,可能是为了抢在 Astra 公开发布及其营销之前出手(少数人)
有价值的补充
- 评测站把不同推理档位拆成各自独立的页面:被链接的是 max 档,另外还有 xhigh 档和作为默认值的 medium 档,比较数据前要先看清用的是哪一档。
- “画一只骑自行车的鹈鹕”是社区常用的能力试金石;这次失败的原因不是画不出来,而是推理过程本身吃光了 token 预算,属于想太多而不是不会做。