人工智能分析（Artificial Analysis）发布智能指数（Intelligence Index）v4.2，作为v5正式推出前的过渡更新。新版加入基于私有测试集的智能体知识工作评测AA-Briefcase及4,592页PDF长文档推理测试Surge’s GDP.pdf，移除已饱和的GPQA Diamond，并提高留出测试集权重，防止模型刷分。
正文
我们正加快推出即将发布的 v5 版本的部分内容，通过 interim 更新跟上前沿进展。Index v4.2 拥有更复杂、更贴近实际的任务，以及更多私有测试集，以防止刷分。
Intelligence Index v4.2 更新日志： - 新增 AA-Briefcase：我们基于私有测试集的智能体知识工作评估 - 新增 Surge 的 GDP.pdf：覆盖 4592 页 PDF 的长上下文文档推理 - 移除 GPQA Diamond：这项卓越的科学推理评估目前已被刷到饱和 - 此外增加了留出测试集的权重以防止刷分，并升级了评分基础设施以提高稳健性
这次更新让指数更贴近真实使用场景，任务更具挑战性、更复杂、更贴近实际，同时采用私有测试集防止刷分。我们已经筹划并构建 v5 指数的部分内容数月之久——距离今年 1 月发布 v4 指数已经过去 8 个月。
我们此前刻意暂缓更新，以保证指数在近期多个重要模型发布期间的稳定性。但随着前沿进展在过去几周飞速推进，我们认为有必要立即推出 interim 更新，确保指数对用户始终具有相关性和实用价值。
除了这次 interim 更新，我们的团队正在全力开发 v5 指数，并计划在近期推出更多增量更新，敬请期待。
Intelligence Index v4.2 详细变更
➤ 新增 AA-Briefcase 这是我们基于私有留出测试集的内部评估，由行业专家构建复杂项目，测试模型在真实智能体知识工作任务中的表现。模型需要完成跨数周的知识工作项目，每个项目包含大量关联任务和数千份输入源文件。AA-Briefcase 结合评分标准和成对评分，评估可验证的任务完成度、分析质量和呈现质量，全面反映模型在知识工作领域的智能体能力。
➤ 新增 GDP.pdf 由 Surge AI 创建，GDP.pdf 评估单轮专业文档推理能力，覆盖 100 份 PDF 和十个领域。模型需要综合分布在 4592 页中的证据，包括文本、表格、图表、脚注和排除项。回答会根据 1275 条专家撰写的原子标准进行评分，核心指标“全通过率”只有在所有标准都满足时才判定任务通过。
➤ 调整权重以衡量真实使用场景并防止刷分 指数权重中现在有 40% 来自私有留出测试集，是 v4.1 版本的两倍。留出数据包括 AA-Briefcase、AA-Omniscience 和 CritPt 的解决方案，这降低了实验室刷分的可能性。留出比例在 v5 指数中还会进一步提升。
➤ 改进评分基础设施 在 AA-LCR v1.1 中，我们新增了评分系统提示，修正了答案密钥中的错误和歧义，提高了评分准确性。针对 GDPval-AA v2 和 AA-Briefcase，我们改进了采样方法并重新锚定了 Elo 评分尺度，让评分在新模型加入时更稳定。对于 SciCode，我们提升了评分沙盒的稳健性，确保运行缓慢但正确的代码不会被判定为失败。
关键结果
➤ Anthropic 和 OpenAI 领跑指数 Anthropic 的 Claude Fable 5.1 位居指数榜首，其次是 OpenAI 的 GPT-6 Astra，相比 GPT-5.6 Sol 提升了 4 分。Meta 是排行榜上第三名的实验室，其后依次是 SpaceXAI、Moonshot/Kimi、Z.AI 和 Google。
➤ 四个实验室共享单任务成本帕累托前沿 Anthropic、OpenAI、Meta 和 Z.AI 占据了更新后的单任务成本前沿。
➤ GPT-6 Astra 主导输出 token 前沿 GPT-6 Astra 的 token 效率高于智能前沿附近几乎所有其他模型，Claude Fable 5.1、Grok 4.5 和 Gemini 3.5 Flash-Lite 分别位于曲线两端（排除指数得分低于 25 的模型）。
AA-Briefcase 评估中，Anthropic 的 Claude Fable 5.1 和 Opus 5 领先，其次是 GPT-6 Astra 和 Muse Spark 1.3。GPT-6 Astra 相比 GPT-5.6 Sol 有显著提升，高出约 85 Elo 分。
GDP.pdf 评估中，OpenAI 领先，GPT-6 Astra 得分 33.2%，GPT-5.6 Sol 为 28.2%，Claude Fable 5.1 为 26.2%。
评论
讨论整体对本次指数更新偏审慎，多数人对排名变动的合理性存疑，少数人认可新指标更能反映模型实际可用性。
认为指数更新缺乏科学性，有迎合预期之嫌
- 有人指出旧版指数逻辑有问题，新版调整排名更偏向符合大众对模型强弱的固有印象，这种临时调整缺乏严谨性，属于不科学的操作（较多人）
- 有用户认为更新时机不佳，恰逢Fable 5.1和GPT 6发布后推出，对OpenAI的排名提升过于巧合，时机选择容易引发质疑（较多人）
认为新指数更能反映模型实际可用性
- 用户认为全知指数（Omniscience Index）通过惩罚幻觉、不惩罚拒答的设计，能更准确衡量模型输出的可信度，高分数意味着模型更可能承认未知而非编造内容，和实际使用中的体感强度相关性更高，Astra在该指数上的表现也印证了其比Sol更强的实际能力（高赞） > 这个全知指数和模型实际有用性的相关性最高，它衡量知识可靠性和幻觉情况，奖励正确答案、惩罚幻觉，不惩罚拒答，高分数意味着你更信任模型输出，它不知道时更可能坦诚告知而非瞎编（@jascha_eng）
认可OpenAI模型的token效率优势
- 不少用户注意到Astra在输出token效率上表现突出，相比此前的Sol有大幅领先，在同等输出质量下消耗的token更少，从单位成本、单位token的智力产出维度看，OpenAI的优势十分明显（较多人） > OpenAI在单位token、单位成本的智力产出上真的做得非常出色（@aurareturn）
质疑指数及基准测试的可靠性
- 有用户指出指数上调SciCode权重至10%不合理，因为该基准本身存在缺陷，相关论文已证实其设计问题（较多人）
- 部分用户不认可本次更新的榜单结果，认为排名靠前的Gemini 3.8实际使用中表现极差，逻辑混乱、记忆错乱，和榜单排名严重不符，整体评价感觉类似游戏媒体的商业化评分，缺乏参考价值（较多人）
- 还有用户表示人工分析（Artificial Analysis）的智力指数和自己的主观使用体验长期不符，更认可CursorBench的评估结果，本次OpenAI和Cursor合作破裂后，前者模型将不再出现在CursorBench中，是此次更新的一大损失（较多人）
有价值的补充
- 不少实验室曾通过增加思考token来提升基准测试分数，包括多数中国模型、谷歌和Anthropic都有此类操作，但OpenAI此前发布的5.6版本就已经比其他模型token效率高很多，Astra在token效率上相比Sol有大幅领先，Astra（max）版本在榜单中得分第二高，但输出token量仅排第三低。
- 有用户提出疑问，为何本次指数更新没有纳入ARC-AGI-3的测试结果，认为加入该测试会让排名发生变化。
- 有用户询问如何查看旧版本指数以便和本次更新后的结果做对比，同时提到智力与成本对比图使用的版本问题，指出并未对所有模型都运行了v4.2版本的测试。