人工智能基准近年来大量增加，但覆盖具有经济价值工作的范围仍然有限。为衡量这一点，我们汇编了相关基准，以评估它们对美国工作的覆盖情况。基准地图（Benchmark Map）是我们构建全面、持续更新资源、用以理解人工智能在整个经济体中的能力的第一步。索引覆盖923个职业中的208个，覆盖18,797项任务中的924项，共纳入29个基准。

近年来，AI 基准测试数量激增，但对具有经济价值的工作的覆盖仍然有限。为了衡量这一点，我们整理出相关基准测试，以评估它们对美国各类工作的覆盖情况。这份「基准地图」是我们构建全面、持续更新的资源、以理解 AI 在整个经济体中能力的第一步。

我们的指数纳入了 29 个基准测试：在 923 个职业中覆盖了 208 个，在 18,797 项任务中覆盖了 924 项。

基准地图

每一块图块代表构成美国劳动力的 923 个 ONET 职业之一，这些职业被归入 22 个职业大类。职业的深浅颜色依据是其任务在我们初始 AI 基准列表中的覆盖比例。一个基准提示可以映射到多个 ONET 任务。

全部 22 个职业大类（点击某个大类可展开）。覆盖情况可按「基准指数」或「仅 APEX」查看；覆盖程度分为至少 1 个提示、至少 5 个提示。图例包括「基准指数」和「无覆盖」。

O*NET 职业大类及其职业被 AI 基准覆盖的比例（下表列出 22 类中的 12 类）：

| 职业大类 | 被覆盖的职业数 | | --- | --- | | 计算机与数学 | 29 / 36 | | 商业与金融 | 33 / 48 | | 社区服务 | 10 / 14 | | 法律 | 5 / 7 | | 办公室与行政 | 21 / 51 | | 管理 | 21 / 56 | | 建筑与工程 | 19 / 56 | | 销售 | 6 / 22 | | 艺术与媒体 | 13 / 40 | | 科学 | 15 / 60 | | 医疗执业人员 | 12 / 89 | | 教育与图书馆 | 9 / 62 |

在我们的数据集中：923 个职业里，只有 208 个职业拥有至少 5 个基准提示对应的任务；22 个职业大类中，有 6 个大类完全没有这样的职业。

我们的发现表明，美国人 90% 的工作时长花在现有基准测试几乎没有或完全没有覆盖的任务上。这让我们很难知道 AI 模型在美国人实际从事的工作上到底有多好。

现有基准的覆盖也不是随机的。我们的地图显示，AI 界正优先覆盖最大的劳动力市场：

该图按职业薪酬总额展示 ONET 任务的基准覆盖情况，并区分「高 AI 暴露」与「低 AI 暴露」两类任务，纵轴为调整后的任务覆盖概率（0%–20%），横轴为年化的职业薪酬总额（对数刻度，从 5 亿美元到 500 亿美元）。每一个点表示：在给定薪酬总额的职业中，带有某种 AI 暴露标签的 ONET 任务被我们基准指数中至少 5 个提示覆盖的估计概率。AI 暴露标签为二元变量，来自 Eloundou et al. (2023)。职业薪酬总额根据 BLS 对各职业平均薪资和就业人数的估算，按每周 40 小时工作制计算得出。覆盖概率来自任务层面的逻辑回归，自变量为 AI 暴露程度和职业薪酬总额的对数。误差线为基于职业群组聚类标准误的点wise 95% delta-method 置信区间。

例如，初始列表中的基准大量覆盖了易受 AI 影响的律师任务，却几乎没有覆盖同样易受 AI 影响的法律秘书或法院书记员的 O*NET 任务。规模较小、中等收入的知识工作类职业这一长尾，看起来覆盖不足。

随着我们逐步扩展对经济体中模型能力的覆盖，我们希望既能发现、也能帮助填补我们对模型能力认知中的更多空白。

方法简述

为了将经济体分解为行业、职业和任务，我们采用了美国劳工部的 ONET 分类法。ONET 将美国劳动力划分为 923 个职业；对每个职业，O*NET 都试图提供构成该职业的完整「任务」清单，全部职业合计 18,797 项任务。

示例——O*NET 中与律师相关的 22 项任务中的 6 项：

1. 准备、起草和审查法律文件，如遗嘱、契约、专利申请、抵押、租赁和合同。
2. 就商业交易、索赔责任、提起或抗辩诉讼的可行性，或法律权利与义务，向客户提供建议。
3. 为个人和企业解释法律、裁决和法规。
4. 利用法律先例知识，分析案件的可能的判决结果。
5. 在刑事或民事诉讼中出示证据，为被告辩护或起诉被告。
6. 监督法律助理。

为了衡量基准覆盖情况，我们首先列出 29 个基准测试，选择标准是它们的质量和与经济的相关性（完整列表和选择标准见 Benchmark Index 标签页）。在选择这些基准时，我们优先考虑：

• 公开可用性。 纳入的基准至少有 25 个公开可用的任务。我们也纳入了 Mercor 的 APEX 基准，因为我们能获取其内部保留的基准提示，从而将其映射到 O*NET 任务。
• 智能体任务。 纳入的基准要求模型执行智能体任务，而不是回答问题或建议用户如何完成任务。
• 经济现实性。 基准任务类似于人类（或智能体）在真实企业中经常被要求完成的任务；具有经济价值的任务优先于学术上复杂的任务。
• 经济多样性。 我们对每个职业大类纳入的基准数量设了上限，很大程度上是为了纠正流行基准中软件工程和研究类任务的过度代表。
• 难度平衡。 基准尚未被前沿模型刷到饱和。

按照 Wang et al. 的方法，我们让一个 LLM 裁判为每个基准提示打上尽可能多它认为对应的 ONET 任务标签。我们用 Mercor APEX 基准（这 29 个基准的一个子集）上的人类专家标签来验证 LLM 的标注。在基准地图上，如果 LLM 裁判将某个 ONET 任务映射到至少 5 个来自这 29 个基准的提示，该任务即算作「已覆盖」。

为了估算美国人在被这 29 个基准覆盖的任务上花费的工时占比，我们将覆盖估算与 Hatgis-Kessell et al. 用 LLM 得出的每个 O*NET 任务工时占比估算相结合。

更详细的方法说明见 Methodology 标签页。

局限性

我们对整体经济覆盖及覆盖模式的估算，都来自我们最初选定的 29 个基准。这不是对更广泛的未饱和、公开、智能体经济基准的完整或完全代表性样本。任何不完整的列表都必然使经济覆盖的估算偏低，而且这种偏差很难界定。因此我们要强调，这些结果是暂时的；随着我们扩展初始基准列表，我们会更新它们。

为了最大化覆盖广度，我们对每个职业大类纳入的基准数量设了上限。我们认为这让全经济体的基准覆盖估算更准确，代价是压低了那些被最多基准覆盖的职业大类（例如软件工程）的覆盖估算。

通过只选未饱和的基准，我们可能低估了 LLM 较容易完成的 O*NET 任务的基准覆盖；反之，如果纳入饱和基准，则在饱和源于任务现实性较低的情况下，可能会高估覆盖（基准往往在真实部署中高估 LLM 表现，因此后一种情况似乎更可能）。我们认为，纳入饱和基准带来的偏差会大于排除它们的偏差，但两种选择都不理想。

最后，虽然我们在 Benchmark Index 标签页列出了基准选择标准，但像「经济现实性」这样的几条标准难以形式化，给我们的选择带来了一些主观性。

覆盖模式

我们指数中的基准对整体经济呈现出相对「深而窄」的覆盖。它们过度集中在最容易受 AI 自动化影响的经济任务上（按 Eloundou et al. (2023) 的衡量），被标记为「暴露」的 O*NET 任务出现在基准中的概率，大约是「未暴露」任务的 6 倍。这不难理解：基准是为衡量 AI 进展设计的，而 AI 进展最可能发生在最易暴露的任务上。这也解释了为什么基准里充满软件工程和金融分析的任务，而卡车驾驶和煤气厂操作等任务却很少。

但即便控制了 AI 暴露程度，来自薪酬总额更高职业的 O*NET 任务在基准提示中的占比仍然明显过高（参见上文按职业薪酬总额绘制的图表）。

在控制职业和 AI 暴露评分后，ONET 的「任务重要性」是基准覆盖的另一个预测因子。ONET 任务带有领域专家对其在职业中重要性的 1–5 分评分。我们发现，评分最高的任务出现在基准中的概率，大约是评分最低任务的 6–10 倍：

按职业内 ONET 任务重要性看基准覆盖情况。图例区分「高 AI 暴露」与「低 AI 暴露」，纵轴为调整后的任务覆盖概率（0%–20%），横轴为 ONET 任务重要性（1–5 分评分，图中显示 3.25 至 4.75 的区间）。每一个点表示：在控制职业后，带有某种 AI 暴露标签、且重要性处于某个五分位区间的 ONET 任务，被至少 5 个提示覆盖的估计概率。AI 暴露标签为二元变量，来自 Eloundou et al. (2023)。重要性五分位根据 ONET 重要性评分计算。覆盖概率来自任务层面的逻辑回归，自变量为 AI 暴露和重要性五分位，并控制职业固定效应。误差线为基于职业群组聚类标准误的点wise 95% delta-method 置信区间。

上述图表表明，迄今为止，投入到高质量、与经济相关的基准上的相对有限资源，其分配是合理的：优先为薪酬总额最大的职业中、最重要且最易受 AI 影响的任务制作基准，是很自然的。但除非这类基准的数量和多样性大幅增加，这些模式将导致我们在观察具有经济价值的模型能力时出现重大盲点。

O*NET 加基准测试能否衡量 AI 在你工作中的表现？

按职业衡量模型能力至关重要——无论是企业判断哪些模型适合自身需求、政策制定者预测 AI 的经济影响，还是美国人规划职业生涯，都需要这一点。可惜，这是个难题。

我们可以试着把某个职业相关基准提示上的模型表现直接平均。但正如我们的基准地图所示，基准对一些经济任务的覆盖远比其他任务密集。简单平均会给那些被频繁测试的任务过高权重。

ONET 提供了一条可能减少这种偏差的路径。如果我们按 ONET 分类对职业相关的基准提示上的模型表现加权平均，使得在职业平均值中每个 O*NET 任务都被平等加权，我们就离一个代表真实经济表现的数字更近一步。

作为第一步，我们在 Mercor 的 APEX 基准上，对投资银行、法律、会计和软件工程四个职业尝试了这一方法。我们比较了 ONET 加权分数，与模型在各职业相关任务上简单平均的表现。以投资银行为例（APEX-1 + APEX-Agents；对应 ONET 职业「金融与投资分析师」；11 项任务；176 个提示），两种加权方式下的模型得分如下：

| 模型 | 每个提示等权 | 每个 O*NET 任务等权 | | --- | --- | --- | | Claude Fable 5.1 Max | 69.8% | 68.5% | | Claude Opus 5.5 Max | 73.3% | 70.2% | | Claude Opus 5 Max | 65.5% | 63.0% | | GPT-6 Astra Max | 65.5% | 61.8% | | GPT-5.6 Sol Max | 66.8% | 65.6% | | Grok 4.7 xHigh | 58.1% | 58.7% | | Gemini 3.8 Flash High | 66.9% | 67.5% | | Kimi K3 Max | 59.4% | 59.9% | | DeepSeek V4.1 Flash Max | 56.5% | 58.4% |

对于每个职业，我们取 APEX 基准中与该职业相关的所有提示。深色条显示模型在这些提示上按职业简单平均的得分。然后，我们将提示按 ONET 任务排序；对每个至少有 5 个对应 APEX 提示的 ONET 任务，把模型在这些提示上的得分平均，得到任务级得分。接着，再把各任务级得分平均，得到让每个 ONET 任务等权的职业级得分（若某个 ONET 任务少于 5 个提示，则将其从平均中剔除）。浅色条显示这些加权得分。

至少在这个例子中，ONET 加权带来的变化非常小。APEX 提示上的模型表现在上述加权得分所涵盖的 ONET 任务之间差不多，这限制了重新加权的价值。不过，在这 4 个职业相关的 ONET 任务中，只有不到三分之一拥有足够的 APEX 覆盖以被纳入加权得分。我们仍希望把 ONET 加权应用到更大的基准集，从而得到高质量的按职业划分的模型分数，并正朝此目标努力。

然而，即便我们纳入数十个基准中的任务，仍存在几个障碍：

1. 如何应对统计效力不足？ 美国经济中工作的广度意味着，对任何一个 O*NET 职业和任务，我们拥有的基准题目都相对较少。这让估算天生效力不足，仅仅一两个低质量题目就可能严重扭曲分数。
2. 如何考量任务难度和保真度的差异？ 有些基准题目已高度饱和，有些仍未被解决。这既和时间有关（较早的基准是为当时较弱的模型和更简单的环境设计的），也和质量有关（有些题目评分过于简化、有细微错误，或可被奖励黑客利用）。我们还没有明确的方法来按质量加权。
3. 主要衡量 AI 自动化的评测，能否推广到增强（augmentation）？ 现实中，AI 模型仍主要由人类使用，而不是端到端自动化整个职能。因此，衡量模型的真实职业理想上应包括衡量模型提升人类生产力的程度。我们已在这一方向完成一些 早期工作，但找到可扩展的方法仍然困难。
4. 每个 O*NET 职业和任务都能用基准衡量吗？ 知识工作适合用基准衡量，因为它主要在笔记本和手机等数字设备上完成。Dingel 和 Neiman 估算，只有 37% 的美国工作可以完全在家完成，这意味着约 63% 的工作包含一些物理世界成分的任务，很难纳入当前基准。目前这可能不算重大疏漏——随着机器人能力快速发展，我们预计未来会非常需要物理任务基准。

我们正在积极研究这些问题；如果你也在做，请 联系我们！

我们借鉴了 Wang et al. 的 O*NET 标注方法，并感谢 Nathan Lambert 对本文草稿的反馈。

多数人质疑 AI 基准对真实工作的覆盖被夸大，强调工作里大量协调、隐形和低价值任务无法被自动化或量化；少数声音则提醒，基准反而偏向高薪岗位，市场叙事夸张，而社区整体拒绝“AI 马上抢光工作”或“AI 完全无用”两种极端。讨论的主轴不是 AI 有没有用，而是“基准覆盖”能否代表真实工作，以及被自动化的究竟是不是瓶颈任务。

认为所谓“覆盖良好”被严重夸大，真实工作几乎未被基准衡量

• 现有基准往往把“有一点点提示词涉及”算作“覆盖良好”，但真实职业的完整职责无法被十几个提示词代表；很多实际工作只有在当事人不在场、没人盯时才显现，标准追踪和基准根本看不到，因此 90% 仍可能是低估。也有少数人对某些岗位“零覆盖”提出疑问，例如餐饮服务已出现送餐机器人、无人机配送，游戏设计被标为 0/24 项任务覆盖也与 Epic 等公司的实践不符。（较多人） > “覆盖良好”其实只是“覆盖到了一点”，用 13 个提示词代表社工育儿咨询这类工作显然不够；若按正常人理解严格定义，标题数字会高于 99.9%。（@OtherShrezzing）

认为 AI 自动化的往往是非瓶颈、低价值或易量化任务，反而让整体更糟

• 在所谓“较好覆盖”的岗位上，基准偏向最低附加价值、最容易量化结果的任务；把注意力和改进集中在这些任务上，会掩盖重要但难量化的因素，导致负外部性，出现越自动化整体越糟的局面。（较多人） > 已发布的基准其实覆盖了最低价值增量的任务；我们很容易陷入只量化易做之事的陷阱，把力气花在自动化能自动化的地方，结果整体反而更糟。（@bunderbunder）

认为知识工作主要是人际协调与人力资本低效，不是可自动化的技术任务

• 软件工程等知识岗位大量时间用于调和“利益相关者”的分歧、开会、Jira、QA 等协调与流程工作；AI 节省的成本更多来自组织低效和掩盖培训不足、情绪不安全感的低效惯例，本质上是人力资本问题，而不是技术突破。（较多人） > 我大约 80% 的软件工程工作是在调和“利益相关者”之间的分歧。（@qurren）

认为 AI 无法替人思考，还会侵蚀深度工作环境，但因成瘾性仍会被大量使用

• 人类大量工作没有训练与代理工作流所需的紧密反馈闭环，因此不会出现“岗位末日”，生产率提升更像是长期每年 2% 的缓慢变化；同时 AI 既不能也不应替人完成数据结构、算法、组织方式等方面的思考，自然语言并非适合这些工作的工具，它甚至抢走了让人进入最佳思考状态的环境。但 AI 使用量长期不会下降，因为它像社交媒体一样提供强多巴胺循环，科技公司擅长制造这种循环。（较多人） > AI 并不能替你思考，反而夺走了你本来对数据结构、算法、组织等做最佳思考的环境；代码当然可以用自然语言写，但它很难说是适合这项工作的工具。（@CoolestBeans）

认为基准反而偏向高薪岗位，AI 冲击的是“好工作”，市场估值夸张

• 控制 AI 暴露度后，薪酬总额更高的职业任务在基准提示词中被过度代表，所以 AI 真正瞄上的是软件工程师、律师等高薪知识岗位，而不是清洁、收垃圾等低薪体力任务；按工时统计低估了经济影响，若按 GDP 加权重绘更合理，而多家公司宣称的数十万亿美元市场与全球经济产出根本对不上。（少数人） > 控制 AI 暴露度后，薪酬总额较大的职业任务在基准提示词里明显被过度代表；他们想让 AI 拿下的其实是“好工作”，软件工程师和律师最好现在就开始准备转行并调低生活标准。（@10111001）

认为 AI 既不会立刻抢走所有工作，也不是毫无价值

• 社区自嘲：不同帖子轮流喊“AI 太有效所以要抢走所有工作”和“AI 根本没用”，真相既不是前者也不是后者。（较多人） > 到底是 AI 太有效会抢走所有工作，还是它毫无价值？每个不同的帖子都在说相反的话。提示：都不是。（@zzzeek）

有价值的补充

• Amdahl's Law（@jerf）：即使把所有能合理交给 AI 的任务瞬间变成免费且即时，世界也不会立刻变成 AI 天堂，因为仍有大量其他必需环节限制整体产出；AI 成本不会归零，下降 90% 与下降 100% 差别巨大，泡沫似乎没考虑这条定律。
• Baumol's Cost Disease（@legitster）：效率提升会让其他工作相对变得更贵；个人层面也如此，编码效率变成 20 倍后，时间却被演示、Jira、QA 等填满，自动化后那些繁琐且需人力的环节反而占据更多时间。
• Doorman Fallacy（@b800h）：用自动门替代门童看似明确胜利，但门童还承担客户体验等其他关键职能；自动化表面任务时，常会丢掉这些未被计入的隐形价值。
• McNamara fallacy / verschlimmbessern（@bunderbunder）：只做可量化、易出成果的低价值任务，会忽视重要但难量化的因素，最终出现“改进反而让事情更糟”的负外部性。