OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 半私有测试中，使用标准工具得分为 62.7%（花费 2.6 万美元），使用 Provider Adapter 工具得分达 99.9%（花费 1.9 万美元）。它在行动效率上超越人类基线，在 96% 的关卡中行动次数少于人类中位数。GPT-6 Astra 能将陌生环境转化为紧凑的符号世界模型，将游戏机制表示为逻辑规则，并开发自己的领域特定语言简写来追踪状态和规划行动。
正文
GPT-6 Astra 在 ARC-AGI-3 上取得 62.7%（标准测试框架，花费 26,000 美元）和 99.9%（提供商适配器框架，花费 19,000 美元）的成绩。它在行动效率上超越人类基线：在 96% 的关卡中使用的行动次数少于人类中位数。关键行为是它能将陌生环境转化为紧凑的符号世界模型，用逻辑规则表示游戏机制，并自创领域特定语言简写来追踪状态和规划行动。
ARC-AGI-3
ARC-AGI-3 是一个基准测试，通过新颖、抽象的回合制环境研究智能体智能。智能体必须探索、推断目标，并在没有明确指令的情况下构建环境内部模型来有效规划行动。这些环境只包含核心知识先验，难度通过人类受试者控制测试校准。人类能解决 100% 的环境。ARC-AGI 系列的目标是衡量当前人工智能与通用人工智能之间的“剩余差距”。我们将通用人工智能定义为系统能像人类一样高效地获取任何人类能掌握的技能。ARC-AGI-3 测试智能体智能的四个组成部分：探索、建模、目标设定、规划与执行。
Astra 结果
GPT-6 Astra 在 ARC-AGI-3 上使用两种框架均取得最优成绩。更高的推理层级通常成本更低，因为 Astra 用更少行动解决游戏，减少了模型调用和令牌总数。在标准框架下，OpenAI 的 Astra（最大推理）在 ARC-AGI-3 半私有集上得分 62.7%，花费 26,000 美元。在提供商适配器框架下，Astra（高推理）得分 99.9%，花费 19,000 美元。在最大推理努力下，Astra 解决游戏更高效，所需行动更少，因此总成本低于其他推理层级。作为成本对比，人类受试者每 90 分钟 session 获得 115 美元，外加每完成一个游戏 5 美元。参与者每 session 尝试约 9 个游戏，每个游戏约 12.78 美元。如果只计算大脑能量消耗并用电价估算，每 session 约 0.6 美分，每个游戏约 0.067 美分。
分析
除了分数，Astra 的回放显示它如何将陌生游戏机制转化为有用的工作模型。三个发现值得注意：它开发的紧凑代数符号、与人类相比的行动效率，以及它构建的自定义工具。
自定义代数符号
在玩 ARC-AGI-3 时，Astra 选择携带哪些策略笔记。它追踪对象、坐标、规则和未完成计划，同时使用它为环境生成的领域特定语言符号。Astra 的笔记以其精确性和信息密度脱颖而出。它将场景提炼为紧凑的类代码符号模型：对象在哪里、如何交互、需要按什么顺序执行哪些行动。这是一种即兴的代数简写，而非完整的编程语言。例如：游戏状态 L8: hub q2 (8↓). Lengths: 14=1… 记录关卡、局部旋转索引和机制长度；多步计划 extend8 to3; retract10 to2; shorten8 to1 记录有序的变更序列；控件和坐标 9−=(39,4), rotate=(49,18), 14+=(59,11) 将操作映射到控件坐标；时间和位置 Turn 5: P=(24,20), empty, facing west 结合回合计数器与玩家位置、状态和朝向。
与人类相比的行动效率
在发布 ARC-AGI-3 之前，我们测试了约 500 名公众以建立行动效率的人类基线。参与者并非根据解谜经验或能力筛选。对于每个关卡，我们用完成玩家的中位行动次数定义“人类基线”。在提供商适配器框架下，Astra（最大推理）在 96.0% 的关卡中使用的行动次数少于人类基线，平均每关少用 51.7% 的行动。这是一个实质性里程碑。这意味着按 ARC-AGI-3 的行动效率衡量，Astra 匹配并超越了人类水平。我们曾假设行动效率仍是人类与人工智能之间的分界线，但前沿人工智能显示出更二元的模式：一旦它“理解”了机制，执行效率通常落在人类范围内。
Astra 的行动效率与人类对比
散点图显示，每个点代表 Astra（最大推理）完成的一个关卡。位于实线以下的点表示行动次数少于人类基线。这说明了为什么 ARC-AGI-3 衡量行动效率而不仅仅是任务完成。完成率只能告诉我们 Astra 完成了环境，但无法说明它学习解决环境的效率。大多数基准只衡量成本效率，但行动效率衡量的是与环境交互所需的经验量。Astra 的结果表明，它执行解决方案所需的交互次数少于人类基线。
智能体框架中的自定义工具
我们还在 PRO-LONG 框架中评估了 Astra，这是一个早期的 ARC-AGI-3 红队测试合作伙伴。在这个高级设置中，Astra 可以访问沙盒来执行自定义代码。我们观察到 Astra 为每个游戏创建了一套自定义工具：棋盘解析器、游戏状态模型、搜索算法、规划器和持久笔记。在更复杂的运行中，Astra 甚至生成了小型、游戏特定的软件库。例如，在迷宫类游戏 tu93 中，Astra 从导航开始，构建了 maze_solver.py，添加了战斗规则 combat_solver.py，建模移动巡逻 patrol_solver.py，并使用 sync_state.py 检查预测与观察。检查 Astra 在 PRO-LONG 中的表现有助于了解它使用外部工具的能力，但这代表了与受控人类测试不同的评估条件。
两种框架，两个问题
我们的标准框架询问模型在相同的最小化、提供商中立接口下如何比较。它提供解决每个游戏所需的所有信息，但让模型负责决定在可见笔记中保留什么。我们认为未来的通用人工智能应该能在这些条件下解决 ARC-AGI-3。共享接口也提供了跨提供商的一致比较。另一个问题是：模型在使用其提供商设计的上下文管理功能时表现如何？对于 Astra，这意味着在请求之间保留不透明的推理状态，并使用压缩来管理更长的对话。使用提供商适配器框架，Astra 在 ARC-AGI-3 半私有集上的最佳得分从 62.7% 提高到 99.9%。在公共集和半私有集以及所有推理层级中，提供商适配器运行的总记录耗时快约 3.66 倍，在两个框架都解决的 167 个游戏-推理对中，总令牌使用减少 49%。未来，我们将在 ARC-AGI 排行榜上同时报告标准框架和提供商适配器框架的结果，并明确标注每种评估条件。
ARC-AGI 系列
ARC-AGI-3 继续为研究人员和智能体提供有用的试验场，用于探索陌生环境、发现规则并通过交互学习。Astra 的结果是一个值得庆祝的重要里程碑。从我们的角度看，Astra 代表了前沿模型能力的显著阶跃变化。我们明确表示，饱和基准测试并不代表“证明实现了通用人工智能”。因此，虽然我们认为 Astra 代表了向泛化迈进的有意义进展，但我们并不声称它是通用人工智能。ARC-AGI 基准系列旨在与前沿人工智能同步发展。ARC-AGI-3 是我们的第一个交互式基准，要求人工智能高效综合因果世界模型并在没有具体指令的情况下实现目标。Astra 跨过了这个门槛。同时，ARC-AGI-3 的范围和格式紧密有限，其环境具有确定性的封闭式机制和目标。它不代表现实世界的复杂性和开放性。我们正在积极探索应塑造下一代基准的问题，包括如何评估递归自我改进和开放式创新。Astra 的进展有助于澄清哪些人工智能能力仍遥不可及，哪些问题仍然开放。
评论
讨论气氛以质疑和嘲讽为主，多数人认为ARC-AGI基准已被“饱和”，少数人则试图从成本或技术细节中寻找亮点。分歧主轴在于：这个99.9%的成绩是否真的代表智能突破，还是又一次基准测试的“过拟合”。
99.9%的成绩只是基准饱和，不代表AGI
- 任何能被验证对错的题目，模型最终都能学会，所有基准都会被饱和，这并不意外。高赞
- 文章声称“澄清了哪些AI能力仍遥不可及”，但通篇没有给出任何具体例子，只是暗示“可能还能更超人”。较多人 > 文章到底解释了哪些能力遥不可及？我错过了什么吗？（@dwohnitmok）
- 用最少步数解蛇形拼图游戏，这真的能定义智能吗？少数人
成本对比被刻意扭曲，人类“肉脑”更划算
- 文章将人类参与者的报酬（115美元/90分钟）与大脑仅消耗的电费（0.6美分/场）做对比，这种计算方式完全忽略了人类的时间价值和意愿，是误导性的。高赞 > 如果只算大脑的电费，每场约0.067美分——那我可要庆祝一下我们这些肉做的人类了。（@Betelbuddy）
99.9%的成绩可能来自数据泄露或作弊
- 有没有可能Astra的黑客团队入侵了ARC-AGI的服务器，窃取了私有评估集，才达到99.9%？少数人
有价值的补充
- 在“无推理”模式下，Astra的表现（35.2%）已经超过了Opus 5在“高推理”模式下的成绩，这个细节值得注意。
- 预测：接下来几个月，反对者会把目标转向“人类成本更低/效率更高”，直到下一个基准出现，这个循环会永远持续下去。