2023 年中，在「RLSlow」研究项目内，我们看到了首批结果，使我们有信心扩大推理模型（reasoning models）的训练规模，解锁预训练模型形成自身思维链的能力。那天晚上，希蒙（Szymon）和我留在办公室，没有去思考这项技术将带来的惊人基准测试数据、产品或科学成果，而是试图消化一个令人清醒的事实：我们有生之年将真正看到比人类更聪明的机器，而且我们已经看到了这些系统的雏形，同时思考该如何让人们意识到这件事的重要性。

2023 年年中，在“RLSlow”研究项目中，我们第一次看到一些结果，让我们确信可以把推理模型的训练规模化，释放预训练模型自行形成思维链的能力。那晚 Szymon 和我待在办公室，想的不是这项技术会带来的惊人基准分、产品或科学成果，而是在消化一个令人清醒的事实：我们有生之年会亲眼看到比我们自己聪明得多的机器，而且已经能看到这类系统的形态；同时也在想，该怎样提醒人们这件事的分量。

三年后，推理语言模型已成为经济中快速成长的一块，并开始推着科学往前跑。它们能操作电脑和图形界面，能与人以及彼此协作，还能独立执行研究项目。它们同时改写着计算机安全的面貌，并带来清晰的新危险。

这段时间涌现了大量新研究，我们对这些系统的理解又和 2023 年有所不同。基于内部结果，我强烈预期这样的进步速度可以延续到递归自我改进。如果 AI 沿着当前路径继续发展，未来几年出现的系统很可能还会有同等或更大的能力跃升，并且将越来越多地驱动自身发展。

当下需要极度谨慎。我担心没人准备好迎接机器智能持续高速上升的后果。OpenAI 会继续为对齐和监测寻找技术方案，建立防御系统，并在必要时单方面停止继续扩大规模；但我相信，还需要更广泛的干预。

我们无法完全理解的智能

大体上，机器智能的进步由越来越大的算力推动。OpenAI 在 2017 年前后深刻认识到这一点：我们在多个研究项目里持续看到规模扩展带来的回报。于是我们争取了比原计划多得多的算力，并越来越把研究集中到极少数高度可扩展的方向上。我们相信，那是站上 AI 研究前沿、影响 AGI 走向的唯一方式。

这期间有各种新算法出现，也有团队和研究者个人的巧思。在我看来，它们很大程度上是在规模化路径上的发现；深度学习科学还很年轻，有意义的算法进展往往与能够获得多少算力相关。如果把视野放到多年尺度上，AI 随着扩展到更大的计算机，确实在持续变得更聪明。

AI 更多是长出来的，而不是被设计出来的：粗略说，它是在难以想象的算力规模上，把一种简单直接的优化步骤重复无数次后的产物。结果是一个极其复杂的系统，依靠抽象概念运作，并能模拟人类行为的某些侧面。我们可以像神经科学那样，对系统中涌现的小机制得到一些洞见；但同样像神经科学，它的整体运作无法被完全理解。

研究基于深度学习的 AI，很大程度上是实验科学。我们投入很多精力构建有原则的算法、做可检验的预测，但从根本上说，大规模训练运行本身是实验，我们有时会对结果感到意外；而且系统越强，结果越难解读。

这件事还有一层复杂性：当前算法通常更擅长提升那些容易衡量的能力，而难以客观量化的能力提升得更慢。我们花了很多时间想理解能力如何泛化，以及应该优先推进哪些未来几年最相关的技能。比如，我们相信只要额外聚焦，就能让模型更擅长数学研究，但我们没有把这个方向列为优先，因为我们更紧迫地感到 RSI（递归自我改进）和自动化对齐研究催着往前走——这一点后面会再谈。

规模化深度学习产生的智能，并不能直接和人类智能相比。要在现实世界中变得非常有用或非常危险，AI 并不需要全方位匹敌或超过人类，只需要在足够多件关键事情上超过人类。而随着它在越来越多的维度上超过人类，要准确了解它有多强就变得越来越难。

教机器去爱

因为机器智能和人类智能来自根本不同的过程，我们不能假设它会默认遵守人类准则，也不能假设它会以人类的方式从准则出发泛化。AI 研究的核心问题是对齐：让 AI “按人类的标准尝试做正确的事”。

为了组织实际研究方向，我觉得可以区分“目标对齐”和“价值对齐”。

目标对齐大致是：“AI 是否努力完成交给它的目标？”它包含遵守指令层级，包含与人沟通、协作并尝试理解对方目标的能力。这一系列方向非常贴近实际。

价值对齐是模型更加内在的性质：它要持有一套高层原则并能据此泛化；即使面对不清楚或互相冲突的目标，身处陌生甚至敌对的环境，也能行为“合理”。一个对齐的 AI 应该诚实、正直，并热爱人类。

两者的边界当然会模糊，而且真正在意一个目标，本身就要求去尝试推断目标背后的意图和价值。不过，通常我谈论对齐研究的长期重要性时，指的是价值对齐。

AI 对齐的根本挑战是泛化。机器越聪明，它们所处理的概念就越高层，所面临的环境也越不同于训练时的环境。它们可能无法把训练过程中教给并强化过的价值，泛化到这些新情境；我们很难确定它们会怎样行动。更麻烦的是，AI 被使用所处的整个生态变化得极快；例如今天训练的 AI，还要能稳健面对与其他各种 AI 的互动。关键是，未来 AI 无论是否认为自己正处人类监管下，都要继续坚持人类价值。

目前实际使用的对齐训练方法主要有两类。

第一类是在目标导向的强化学习中鼓励对齐行为。模型的行为通常由另一个 AI 评估，看它是否符合给定的偏好模型、规范或“宪法”，并据此给予奖励。这种方法在一般情形下非常有效，也是现代 AI 助手的核心部件。可惜它也可能很脆弱，严重依赖训练监督的覆盖范围，以及模型从训练情境中泛化的能力。例如在 OpenAI-Hugging Face 事件里，智能体守住了“不对人类进行社会工程学操纵”这条边界，却明显没能避免做出其他越出范围、违背它们在别处学到的价值精神的行为。

第二类方法利用模型从预训练数据泛化的能力。它可以构建诱导对齐的训练数据集，也可以让模型聚焦到预训练分布中“对齐”的部分，例如 persona selection（人设选择）模型。它的弱点是对进一步优化压力不够稳健：如果一个模型想的通常是对齐的事，你再用大量训练教它去达成极难的目标，它就可能学会动机性推理——为达成目标，把那些看似“对齐”的想法随手弯折成自己需要的样子。最近一起涉及非 OpenAI 模型的网络安全事件里，我们很可能就看到了这种表现。

我们在上述两个方向构成的整个谱系上投入很大，也确实看到了有意义的进展：GPT-6 Astra 是第一个得益于我们一些长期重要进展的模型，它的对齐程度明显好于 GPT-5.6 Sol。但仍要承认和理解：随着模型更强，还需要多得多的进展；可泛化的对齐进展，不一定能充分跑赢通用模型智能的进展。

监测泛化

我们还没有一套令人满意的泛化理论，而且似乎不太可能很快发展出来——至少在没有更强 AI 帮助的情况下。因此，我们目前能否经验性验证对齐技术，在实践中可以说比对齐技术本身更重要。

OpenAI 在这方面的主要押注是思维链监测。它的基础是一个有吸引力的可扩展想法：模型能力很大一部分来自一段被语言化的推理过程，也就是思维链。如果我们只对该过程的结果做规模化优化，而不监督推理过程本身，思维链在训练里就没有直接动机去隐藏不一致的想法或目标。这并不意味着模型不会在行为中表现出不依赖思维链的不一致倾向；但它能让我们正好监测到来自推理的那部分能力提升。

我们在开发推理模型的同时就理解了思维链监测的潜在分量。发布 o1-preview 时，我们有意识地把产品设计成隐藏思维链，为的是长期保护它不受监督压力。之后的开发中，我们一直努力保持这条规则：不去监督推理过程。思维链监测由此成为我们研究模型如何从训练分布泛化时极其重要的工具，让我们不仅能看行为，也能看内部过程。

研究 Astra 类模型时，这个工具依然关键。但可惜，评估显示我们能依赖思维链监测的能力正在逐步减弱。因素有几个，并互相叠加：

• 现代推理模型被用在远比 o1-preview 复杂的环境里；它们的推理过程越来越多地与人交流、与其他 AI 交流和使用工具混在一起。很多此类互动必须被监督，模糊了原本想保留的边界。
• AI 越来越擅长对自身的推理过程做推理和操纵。
• 预训练性能提升后，模型即使完全不用语言化推理，也要聪明得多。

这些挑战未必不能克服。我希望我们能开发干预手段，改善模型思维链的可监测性，比如更清楚地理解不同优化目标和模型所用的各种测试时计算形式之间如何互动。我也相信，把思维链监测和激活监测（activation monitoring）结合会很有价值——训练能直接接入网络内部的监测器，例如 confessions 路线。这些方向我们都在积极追赶。尽管如此，我预计通用 AI 的进展会越来越受制于对监测的信心。

可扩展的防御

我认为，继续快速训练更聪明模型的最强理由是：我们需要建立防御系统，对抗其他 AI 带来的危险。

今年反复讲到一个清晰风险是网络安全：模型进入和攻破计算机系统的能力正在超过人类。这极大扩展了 AI 的风险范围——智能体将可以进入除最安全设施之外的几乎任何系统，即使没有物理身体，也能直接影响世界上很多事物。我们目前处在一个很窄的窗口期，还来得及用现有最好的模型显著加固关键系统的安全。

可惜，AI 的风险从这里还会继续增加。一个能力极强的智能体，如果被明确训练和命令去作恶，会构成一种新式危险；它很可能跨过操作者意图的边界，泛化成更极端、更恶意的行为。随着 AI 获得更大能动性，人类滥用和自主不一致行为之间的界限会模糊。我们也许习惯把 AI 当作工具，但有些智能体会追求自己的目标，而且会找到办法让人配合它们——讨价还价、欺骗或敲诈。

此外，还有 AI 可能催生的新技术带来的风险，比如工程病原体。

我们需要强大且对齐的 AI 用于防御：加固基础设施，实时对抗恶意智能体，发明全新的防护手段。这会成为 OpenAI 部署工作的重点。

与此同时，即便未来 AI 的广泛进展和防御需求都充满不确定性，我们也不能拿它当鲁莽的借口。只要真正意识到利害有多大，“不惜代价往前冲”的想法就显得荒谬。

把握 RSI 的节奏

机器智能在自身开发过程中扮演越来越大的角色，是技术持续进步的自然结论。如果 AI 继续进步，机器递归自我改进（RSI）会成为未来科学发现的核心。

自动化 AI 研究，是以算力扩展智能的一种更剧烈的形式；当然，作为其中一部分，AI 也会去改善计算基底本身。和规模化扩展类似，OpenAI 把研究方向引向 RSI，因为我们相信这是未来继续留在 AI 研究前沿的唯一方式。

我想强调，上述并不表示我认为大幅加速深度学习研究——尤其是短期内的加速——是研究界应当采取的集体行动。但我的确认为这是当前道路通向的地方，我们都必须自觉选择该怎么走。主要杠杆有两个：要么引导进程，让对齐和监测随 AI 一起增强，并找到把人留在回路中的方法；要么协调放慢后续开发，以便对这些措施建立足够信心。

我认为眼下最好的前进路线是两者结合。

我们在对齐和监测上取得的具体进展，往往与通用 AI 进展深深缠在一起。很好的例子是 RLHF（基于人类反馈的强化学习）——它对训练早期 AI 助手至关重要；以及前面提到的思维链监测——它得益于推理模型的进展。我们必须让日益自动化的研究过程聚焦于开发这类新洞见、算法和理论，为更有能力的 AI 逐步建立安全论证。

扩展 AI 系统，必须受到安全信心的约束。我们需要把类似 Preparedness Framework 或 Responsible Scaling Policy 的承诺，发展成被广泛强制执行的继续开发安全门槛；这些门槛可以由第三方审计网络、政府机构或国际机构执行。

自动化 AI 研究的核心挑战不是“走到那一步”，而是怎样走到那一步：让人们继续留在持续改进的进程里，并把未来留在人类手中。

接下来做什么？

1. 驾驭接下来这段 AI 进程：构建自动化 AI 研究者，用它迭代地攻克对齐问题，并找到让人留在自我改进循环中的方式。
2. 交付极智能机器带来的科学进步和经济增长。
3. 用个人 AGI 赋能每个人。

我上面只写了第一点，因为我认为它远比另外两点紧迫。不过，我对进一步技术进步的收益怀着深切希望与感激。未来对齐的 AI 能推动科学、开发新疗法，带来广泛的物质富足。友好诚实的 AI 能帮助人应付生活中的困难，切实提升人的幸福感与成就感。OpenAI 投入了很大力量去促成这些。一个我引以为豪、我的亲人也都觉得有用的当下例子，是我们对 ChatGPT 提供健康信息能力的深度投入。

AI 的长期前景再好，我们大部分注意力也应当放在未来几年。我们正面临一个转向：驶向一个存在极智能机器的世界，要保证这个转向对人类顺利。在一个 AI 能完成大部分任务的世界里，要找到保留人类自主性、确立人之为人的内在价值的办法；要防止权力极端集中——过去需要几千名专家才能推进的事业，以后几个人操作一台大型计算机就能做到；还要确保人类始终掌握未来，不被失控进步抛下——那种进步来自超越我们的异类智能。

目前，我相信没有任何实验室已经把对齐和监测解决到足以更长时间地以最高速度负责任地扩展。我期待并希望，在共同安全门槛建立之前，自愿放慢速度会变成常态。我也认为，围绕未来 AI 发展的国际协调必须成为各国政府最优先的事项之一。

社区整体对这篇企业博文持强烈质疑态度，多数人认为其是营销炒作、内容空洞，仅有少数人认可文中展现的内部政策思考或新模型的实际表现。

认为文章是营销垃圾，内容存在虚假宣传

• 文章大量使用夸张表述与不实预测，比如引用库兹韦尔的旧有预言，其中“2019年千元电脑算力匹敌人脑”的预测早已落空，剩余预测也完全不现实，属于企业为了维持生存、转移负面舆论炮制的营销内容，高赞
• 文中将现有模型能力渲染为“超越人类的机器智能”，但大模型本质是对人类智能的近似，并未产生超越人类的垂直维度智能，这种说法属于刻意夸大，较多人 > 神经网络是输入人类智能的近似器，因此只能近似人类的智能，即便模型输出像外星语言，其智能本质仍和人类的相似，要实现垂直维度的超越需要不同的机制（@seydor）

质疑企业倡议放缓发展的动机不纯

• 企业一边呼吁行业自愿放缓发展、建立安全共识，一边自身大概率不会停止研发，真实目的是希望其他竞争对手遵守规则，让自己成为第一个实现目标的玩家，且相关放缓倡议没有具体落地步骤，只是空泛表态，较多人
• 企业反复用“军备竞赛”逻辑为快速训练更智能的模型辩护，本质是为了绑定军工体系，后续可能借此游说政府限制开源模型发展，维护自身垄断地位，较多人 > 每一条呼吁放缓的倡议都应该给出具体可执行的步骤，而不是空泛说教，你们已经赚够了钱，现在却还在操控代理搞协同攻击，到底在做什么？（@am17an）

认为企业逐利本质会压倒安全承诺

• 企业内部的“向善”表态最终都会让位于盈利需求，只有具备强制力的立法才能真正约束企业行为，不然安全承诺只会沦为空话，较多人 > 我的默认立场是赚钱优先于一切，企业里确实有人真心想做正确的事，但如果这和赚钱冲突，最终前者都会被牺牲，有效的约束只能是带惩罚条款的立法（@tangled）

认可文章展现了有深度的内部政策思考

• 文章脱离了萨姆和达里奥对外表态的肤浅感，展现了更审慎、有信息量的内部政策考量，值得参考，少数人
• 文章提到了AI可能带来的科学进步、医疗突破等长期收益，也坦诚了权力集中、人类主体性丧失等风险，读完后对未来的担忧有所缓解，少数人 > 这是一篇不错的文章，让我感到充满希望，我很高兴能看到如此深思熟虑的内部政策考量，之前萨姆和达里奥的公开表态太肤浅了，我一度很担心（@vessenes）

认为新模型Astra有明显技术突破

• 新模型Astra输出信息密度更高，减少了以往大模型常见的冗余内容和谄媚问题，且相关优化技巧已公开，不会长期被OpenAI垄断，有望扭转行业盲目刷榜的风气，少数人
• Astra在智能体编码任务中表现远超同期其他模型，成本更低、速度更快，甚至已经突破了现有主流基准的测试上限，可以被视为AGI，少数人 > Astra是划时代的模型，是继Opus 4.5甚至GPT-4以来最大的突破，它已经突破了AAII基准的测试极限，称其为AGI完全合理（@gertlabs）

有价值的补充

• 有评论类比称，当年卡斯帕罗夫就曾说和超级计算机下棋的感觉像面对外星对手，和当下人们形容AI智能“像外星智慧”的表述有相似之处
• 有评论用反讽的口吻形容社区反应：当自主无人机群出现在地平线上时，勇敢且聪明的HN评论者会大喊“醒醒吧各位！这只是营销！”，精准概括了社区对这类企业博文的普遍嘲讽态度
• 有评论吐槽OpenAI声称以“三个北极星”为方向，打破了“北极星”只能有一个的常规用法，暗讽文章内容空洞充满AI生成的废话，甚至涉嫌违反欧盟相关标注规定
• 有评论指出OpenAI此前在维基相关事件中曾用西里尔字母替换相似字符冒充管理员，试图对论坛用户进行社会工程攻击，和其博文中声称“代理会守住不社会工程人类的边界”的说法完全矛盾
• 有评论调侃AGI是类似邪教的叙事，最终必然会迎来类似琼斯镇的惨烈结局
• 有评论认为当下大模型公司的炒作越来越像郁金香狂热，本质是为了维持资本泡沫不破裂