Hacker News 中文摘要

RSS订阅

Claude Opus 5.5 智能、性能与价格解析(Max) -- Claude Opus 5.5 Intelligence, Performance and Price Analysis (Max)

人工分析智能指数(Artificial Analysis Intelligence Index)v4.3.2 正式整合了 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 以及 AA-LCR v1.1。该指数 v4.3.2 包含的评估与此相同,进一步的方法论说明了每项评估的拆解与运行方式。在按开放权重与专有划分的类别中,这一指数同样纳入了上述 10 项评估。

正文

智能更新

Artificial Analysis 智能指数

Artificial Analysis 智能指数(AAII)v4.3.2 包含 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。详见智能指数方法论。

按开放权重/专有划分的 Artificial Analysis 智能指数

该指数标明模型权重是否开放。若商用受条件限制标为“Commercial Use Restricted”,许可证禁止商用则标“Non-commercial”。

能力指数

衡量模型在特定能力与行业上的表现。

智能评估

由 Artificial Analysis 独立测量的智能评估,分值越高越好:

  • 代理式知识工作((Elo-500)/2000)
  • 代理式真实工作任务((Elo-500)/2000)
  • 代理式 SaaS 工作流
  • 代理式编码与终端使用
  • 专业文档推理(全过)
  • 医疗长上下文推理

虽然模型智能通常跨用例通用,特定评估可能对某些场景更相关。

AA-Briefcase v1.1 更新

AA-Briefcase Elo

AA-Briefcase v1.1 是 Artificial Analysis 开发的代理式知识工作基准。AA-Briefcase Elo 是综合指标,聚合分析质量 Elo、呈现 Elo 与评分通过率,评分表现通过合成对战转为 Elo,分值越高越好。Elo 及 95% 置信区间下界钳制在 0。

AA-Omniscience

AA-Omniscience 指数

AA-Omniscience 指数(越高越好)衡量知识可靠性与幻觉:奖励正确答案,惩罚幻觉,拒绝回答不扣分。分数范围 -100 到 100,0 表示对错各半,负分表示错多于对。

智能指数对比

智能指数 vs. 每智能指数任务成本

展示 Artificial Analysis 智能指数与每任务加权平均成本(美元)的关系,标出“最具吸引力象限”和“帕累托线”。每任务加权平均成本由各评估的输入、缓存命中、缓存写入、推理及回答 token 价格算出,除以任务数并按指数权重加权。

Token 使用

每智能指数任务的输出 Token 数

运行一个智能指数任务所需的加权平均输出 token 数。计算方式:各评估输出 token 乘其在指数中的相对权重,再除以任务数(不含重复)。

成本

每智能指数任务成本

按 token 类型分段的每智能指数任务加权平均成本(美元),越低越好。成本计算方式同上(输入、缓存命中、缓存写入、推理、回答 token 价格加权)。

运行 Artificial Analysis 智能指数的成本

运行指数中所有评估的总成本,依据模型各项 token 价格及评估总 token 数(不含重复)计算。

定价:缓存命中、输入与输出

价格为每百万 token 美元。缓存提示(曾处理过)的每 token 价格通常比常规输入价折扣明显;此处显示缓存命中价,缓存写入与存储另计且因提供商而异。

上下文窗口

上下文窗口指 token 数量限制,越高越好。更大的窗口对 RAG(检索增强生成)工作流很重要,常需对大量数据推理与检索。其最大值为输入与输出 token 合计,而输出 token 通常限制更低(因模型而异)。

评论

讨论围绕 Claude Opus 5.5 在人工分析网站上的横评展开,气氛以怀疑为主:多数人质疑榜单分数能否代表真实能力、并担心拉高推理档位后会变得不实用;少数人肯定它在成本和默认档位上的性价比,也有人觉得实际用下来没什么感觉。

认为这个指数说明不了模型好坏

  • 榜单把 Opus 5 排在 Astra 前面,而 Opus 5 是今年以来最差的发布之一,看到数字上涨也推不出任何结论(较多人) > 模型刚出来,可能不错甚至很好,我不否认;但一个把 Opus 5 排在 Astra 前面的指数,数字变大能让我们推断出什么?(@qsort)
  • “相比同价位其他模型偏贵”这类评价只暴露了作者自己圈定的对比区间,跟模型本身无关(少数人)

担心厂商先冲榜、再悄悄降质

  • 有用户用内部数据集复测,发现某模型的最新表现几周内就回落到更低档位的水平;评测应该在发布数周后重跑,而不是只看首发数据(较多人) > 厂商想快速证明自己最强,用户切过去之后,就把地毯抽走了。(@breckenedge)

认为 max 档会想太多,反而交不出答案

  • 两次让 max 档画“骑自行车的鹈鹕”都失败,因为还在推理阶段就把 12.8 万 token 预算耗光了;如果这么容易想过头,max 可能几乎没有实用价值(较多人) > 我怀疑 max 档可能几乎没用,它太容易过度思考,以至于根本走不到给出回答那一步。(@simonw)

认为 high 档才是性能与成本的最佳落点

  • 与 Opus 5 做 high 对 high 的比较,每个任务的成本只有一半,这一点相当讨喜(较多人) > 和 Opus 5 的 high 对 high 相比,每任务成本只有一半,这真的让人舒服。(@hglaser)
  • 许多基准在 high 之后就开始走平,这一档本身已经优于 Fable,初步实测也跑得很好(较多人)

担心指令遵循和上下文保持能力退步

  • 有用户回退到 4.8:新版本常常解到一半就迷失方向、开始跑题,需要反复重申自己想做什么;在这方面的稳定性更像 haiku 而不像 4.8(较多人) > 5 经常解到一半就丢了方向、开始跑题,我不得不中途打断它;在这一点上 4.8 稳定得多。(@linuxrebe1)

觉得实际使用中察觉不到明显变化

  • 发布前已经用了不少时间,几乎没注意到差别;代码质量也许略好,但依然算不上出色,只是用起来没那么难受(少数人)

认为这是一次刻意压低的发布

  • 发布相当安静,可能是为了抢在 Astra 公开发布及其营销之前出手(少数人)

有价值的补充

  • 评测站把不同推理档位拆成各自独立的页面:被链接的是 max 档,另外还有 xhigh 档和作为默认值的 medium 档,比较数据前要先看清用的是哪一档。
  • “画一只骑自行车的鹈鹕”是社区常用的能力试金石;这次失败的原因不是画不出来,而是推理过程本身吃光了 token 预算,属于想太多而不是不会做。