最新一期播客节目邀请了约翰·舒尔曼（John Schulman）、贝伦·米利奇（Beren Millidge）以及查理·奥尼尔（Charlie O’Neill）参与。我特意与几位自己熟识且在较为开放的公司工作、极具洞见的人工智能研究人员聚在一起，原因在于我想直接了解当前技术前沿真正正在发生的事，以及下一步即将走向何方。
正文
00:00:00 – 为反对递归自我改进的观点构建最有力论据
Dwarkesh Patel：今天我和三位每次聊天都让我获益良多的 AI 研究员朋友交流。他们恰好在一些相对开放的实验室和公司，所以可以公开表态。参与的有 Beren Millidge，开源模型公司 Zyphra 的 CTO；John Schulman，Thinking Machines 的首席科学家，OpenAI 联合创始人之一，领导了催生 ChatGPT 的 RLHF 工作；以及 Charlie O’Neill，Baseten 的模型训练负责人。
我的第一个问题是：如果到了 2036 年，我们并没有数以亿计的疯狂超级智能四处活动、彻底改变世界，最可能的原因是什么？除了外部政治冲击、战争或禁止 AI 之类，最有可能的技术原因为何 2036 年不是那种疯狂的外星超级智能世界？
Beren Millidge：有个经典现象，近乎 Moravec 悖论：我们认为“若 AI 能做这个就了不起”，它解了数学下了棋，但实际影响没那么大。如果这种状况持续，永远没有真正的泛化火花，AI 只在基准或环境里极强，但存在持久的模拟到现实鸿沟阻碍一切。这不太可能，因为实践中已从 RL 看到泛化。但若元学习泛化极难，且持续学习未解决，这就是默认场景。
John Schulman：同意。人类相对模型有许多优势，新模型在部分领域追上，但瓶颈在模型较弱、判断差、不能自检的地方。新模型出来大家惊呼 AGI，用一个月又觉蠢，循环可能重复多次。现在研究工程瓶颈使能力无爆炸增长：即使模型写代码比人多，也不让你生产力 100 倍。可能循环比预期多。
Charlie O’Neill：问题是当前配方（transformer + RL）离“芯片上最优学习器”多远。有人想一旦有比全人类好 0.1% 的 AI 研究智能体，并行跑数百万个且随芯片加速，就会权重超越瓶颈产生快速起飞。但像摩尔定律，需离散不连续创新维持直线。LLM 预训练缩放定律递减，RL 解决后又递减。若需另一种不连续，当前 LLM+RL 环境训练（即使针对 RSI）可能无法发现。若不，就渐近。
Dwarkesh Patel：但你觉得那不连续比 2012 以来任何都难吗？
Charlie O’Neill：若有答案就能实现。但需区分累积性不连续（当前范式内补充）和是否抛掉梯度下降。若继续缩放当前范式，LLM 未必能发现太远的东西。
Dwarkesh Patel：唯一希望是深度学习不能达人类研发主导，或人类也发现不了下一架构。但 2012 至今进展延续，尤其在 R&D 几年内主导人类看似怪异。Ryan Greenblatt 最近说 AI 能力提升可在模拟中激励 AI R&D 和科学。另象棋 Elo 自 80 年代线性增，跨人类范围时从总输到总赢突变。目前 AI 经济影响小因相对人类 Elo 缓升。
Beren Millidge：同意那会很怪。唯一不发生方式是如你所说在跨人类 Elo 前渐近，因我们已近跨点。或戏剧性监管，后者更像技术外最可能。
Charlie O’Neill：研究分两类：目标明确的 autoresearch 优化目标；和 Ryan 说的开放科学范式转换，目标无法指定，AI 也不能指定，须小心。
Dwarkesh Patel：John 你早年在战壕，突破是意识到下一词预测？
John Schulman：早期 OpenAI 直觉是最小化 log loss 不能得智能，重要位占损太小被噪淹。但后来竟工作。
Dwarkesh Patel：当前 AI 研究内循环基准不转用户喜欢。
John Schulman：领域靠泛化，难测何时泛化。重要进展常是无权期待的泛化，如从朴素下一词预训练到深度理解，或从可验证任务到不可验证。
Dwarkesh Patel：直觉泵：每次百万实验前花等量计算让 AI 劳动想最优实验，世纪理论。
John Schulman：硬想可预期部分，小实验建理论泛化大实验。我们远未到研究天花板。未来 AI 做大量分析理论，计算可比实验本身。
Charlie O’Neill：目标明确时具体，如 AI 看 Kaplan 缩放定律会早几年发现没考虑退火错。目标明确可 10x 加速，但想出正确目标不行。
Beren Millidge：关键问题 AI 能否泛化学自己目标，需提议优化不脱轨。Moravec 悖论可能自主易实则难。
Dwarkesh Patel：时间视野增暗示？
Beren Millidge：代理已持久易做，反证据。
Dwarkesh Patel：2012 来最后人类做啥？
Beren Millidge：迭代问正确问题，AI 实验提议碎步。
Charlie O’Neill：从 DeepMind 游戏到 Radford 下一词，再到缩放定律。
John Schulman：定义目标决定想要啥，对齐是最终工作，规格制定不易自动化。
00:18:39 – 中国实验室进展的驱动力
Dwarkesh Patel：为何模型提供商没大整合？
John Schulman：蒸馏对抗中心化，RL 学的行为易蒸馏因少比特。部署学习公司可续改进自己模型。
Beren Millidge：持续学习不阻止蒸馏，可每日蒸。
John Schulman：蒸馏提示分布极重要，需真实宽分布。中国用 router 服务让境内用美国前沿模型并卖数据，得完美提示分布。
Beren Millidge：AI 帮自动化提示收集，人供比特减。
Dwarkesh Patel：但仍受限于有用户服务？
Beren Millidge：不一定，可想用户要啥。全自循环即 RSI。
Charlie O’Neill：基于中国有 router 数据，Sonnet 5 和 Opus 5 比 GLM-5.3 和 Kimi K3 差，虽有蒸馏和 logit 蒸馏，说明提示分布关键。预测前沿实验室 RL 环境优势不大，若硬环境好但仍差，则真实部署更重要。
John Schulman：另假说：环境有难度和真实度轴。蒸馏易匹配难但非真实 benchmaxxing 分布，真实轴需推动。大模型从窄任务泛化真实好；若仅易验证任务分布，基准匹配但宽分布差。这解释小 Anthropic 模型。
Beren Millidge：前沿实验室从大数据公司买数据，中国也可买同样，易保持。
00:28:06 – 自动化 AI 研究者将如何训练
Dwarkesh Patel：能自动化 AI R&D 的模型怎么训？
John Schulman：结合人类反馈吸研究者品味，创多步研究环境，迭代补弱点。
Charlie O’Neill：回滚谱系多少自博弈。但因计算瓶颈，可能留前沿 diff bug 转环境。
Beren Millidge：蒸馏不超人，但环境可超人，如设损 1.3 目标无人类达。
John Schulman：研究多非爬山，而是直觉放松目标找方法再回真实。
Beren Millidge：模型训组合任务，希望泛化模糊任务。
00:33:51 – 长视野 RL 会引出 AGI 吗？
Dwarkesh Patel：实验室赌注：跨数百万环境缩放 RLVR，出持久等技能 agent，像月级远程工。同意否？够否？
Charlie O’Neill：直接 RSI vs 通用模型赚收入再投 RSI。后者赌注清晰：Anthropic 先编码，再金融 Excel，再 PowerPoint 长尾，其他实验室跟。
Dwarkesh Patel：若期待模型上岗学，为何烘焙 PowerPoint 技能？
John Schulman：若上下文学习够好不必训金融，但为运行时效率烘焙直觉进权重。供应商逐域加强高价值域。
Beren Millidge：同时学不贵，参数多可容，元学习迁移，且 RSI 数据少可用其他数据迁移。
John Schulman：sim-to-real 是否永主导？许多真实交互难模拟。
Beren Millidge：样本效率低时必须模拟，效率升则部署学习变大。
Dwarkesh Patel：50% 推理计算没帮模型好，何时 hive-mind？
Beren Millidge：部署数据进下代预训练已发生，中国必做蒸馏。
Charlie O’Neill：Composer 等法律代理快节奏，人有环。Cursor 据 Tab 接受度每五小时 REINFORCE 部署。
John Schulman：自然数据奖励函数未知易黑客。
00:45:24 – 模拟到现实的鸿沟
Dwarkesh Patel：长任务难模拟，如跑业务需真实交互。若转移不够需权重更新，模型样本效率比人差百万倍，会否阻碍 RSI？
Charlie O’Neill：分累积任务（RSI 可逐行加代码）和非平稳（律所助理）。RSI 累积故易聚焦。
John Schulman：模型弱点多源，样本效率仅一，还有思想多样低等。
Charlie O’Neill：思想实验给万亿上下文是否解品味？John：需训从上下文学。Beren：需万亿长数据，人快速发育品味因少剧集。
Dwarkesh Patel：hive mind？
John Schulman：公司不愿共享部署学，激励问题。
Charlie O’Neill：经济压力致模块 LoRA、cartridges 而非改基模。
Beren Millidge：仍可将轨迹倒预训下代。
Charlie O’Neill：微观持续更新灾难遗忘，RL 改小限大改。
Beren Millidge：容量够，技术限同模续训因可塑性遗忘，故从头训新模。
01:00:33 – 数据解释了多少进展？
Dwarkesh Patel：多少进展由数据解释？有分布训当前架构得超级智能？
Charlie O’Neill：存在但需环境阶梯，努力指数增。有不对称：易向后生成复杂环境。
John Schulman：Talkie 模型仅 1930 前数据微调现代编码超 Claude 3 Opus，说明复制专家行为易。
Charlie O’Neill：反例小学模型 RL 高中数学 gap 大，需阶梯。
Beren Millidge：RL 探索弱需课程。
Charlie O’Neill：世界信号 bits 有限，前沿外新数学少，递减。
Beren Millidge：预训练信号在 Common Crawl 过滤噪，后期需人类/环境 bits。
Dwarkesh Patel：Jerry Han 实验算数据解释 12x 计算效率，架构 3.7x。Charlie：低垂尽，总 33x 余后训。
Beren Millidge：数据随规模更重要，架构一次性如 GQA 解锁百万上下文数据。
Dwarkesh Patel：参数缩放？Charlie：RL rollout 效率限活跃参数 plateau。John：模型因算力增而大，数据效率驱稀疏性。Beren：推理效率推低活跃参，总参看硬件。
01:18:03 – 为何 RL 这么有效？
Dwarkesh Patel：一年前认为 RL 每 episode 学一比特，今模型聪明。
Beren Millidge：成功来自 mid-training 合成推理热身，RL 只调策略需几比特高信噪比，SFT 淹没。
Charlie O’Neill：大 group 正确上权，horizon 泛化（EdgeBench 每三月翻倍）。环境多致广。
01:24:54 – 37 步棋与熵崩溃
Dwarkesh Patel：RL 致熵崩溃还是 AlphaGo move 37 创意？
Beren Millidge：AlphaGo MCTS 探索多，RL 不减数创，如 OpenAI-HF 零日漏洞。
John Schulman：搜索问题 AI 强，但 RL 后输出多样性低有 tic，蒸馏致 monoculture。
Beren Millidge：非 RL 本质，是验证器或法官 tic 致 collapse。
01:28:32 – 快速时间线
Dwarkesh Patel：何时模型作白领远程工？Charlie：程序化访问约一年，浏览器受限几年。Beren：全通用三年。John：一年形式。Charlie：吼人催活不行。
10x 生产力？John 拒标量。Charlie：AI 研究者提速 5-10 年？Beren：编码已 10x，两年实验循环大升。John：两年 10x。
跨所有领域超人类？John：3-4 年（除物理）。Charlie：5-10。Beren：5 年但长尾久。
评论
讨论整体偏怀疑：多数人认为"递归自我改进"（RSI）要么定义含糊、要么已经在以平凡的形式发生，谈不上什么即将到来的拐点；少数人则认为真正的瓶颈不在算法而在钱和能源，也有人干脆对 AGI 宣言本身失去耐心。
认为当前前沿模型根本谈不上递归自我改进
- 用过前沿模型的人指出，这类系统看不出具备开放式自我提升的能力，即便有突破也不是现在的形态（较多人）
- 更温和的版本是：现有的自我改进只能爬到局部最优，找不到全局最优，且"无引导的 RSI"缺乏实证（较多人） > 用过前沿模型之后，很难理解为什么有人会认为这是通往 AGI 的路。（@stevebmark）
认为"改进"这个词没有被定义，讨论只是在堆砌流行词
- 有人直接要求给出"改进"在此语境下的定义，否则概念无从讨论（较多人）
- 也有人反问：AI 不是早就通过训练在自我改进了吗，那到底还剩什么可改进的（较多人） > 能不能先定义一下这里的"改进"到底是什么？不然它就只是个流行词。（@killbot5000）
认为自我改进早就在发生，只是没什么戏剧性
- 反方认为没必要期待某个突变时刻：现在的模型已经能收集新数据、据此训练出更好的模型，这就是一种自我改进（少数人） > 我们其实已经到了那一步：当前的 AI 完全能收集新数据并在此基础上训练出更好的模型。（@charcircuit）
认为真正的瓶颈是钱和能源
- 有人把递归自我改进归结为财务问题：账单太大，光付算力钱不够，公司必须想办法积累廉价甚至免费的能源，未来属于"后货币"公司（少数人） > 钱才是瓶颈，未来需要的公司得是"后货币"的。（@deadbabe）
认为没有能力自造评测基准就谈不上 RSI
- 判断标准被具体化：AI 若能自己设计出下一代评测集（如未来的 Terminal Bench 或 GDPval 版本），才算有资格谈递归自我改进（少数人） > 如果 AI 造不出 Terminal Bench 5.0 或 GDPval 2027，就不存在通向 RSI 的路。（@eugene3306）
对 AGI 宣言和术语体操感到疲惫，只想看结果
- 有人抱怨 AGI 已被宣布过太多次，目标线不断后移，圈内忙着推销、造词和心理体操，令人厌倦（较多人） > AGI 都被宣布过多少次了？把结果拿出来，让布丁自己证明。（@preommr）
有价值的补充
- 讨论中有人问起 John Carmack 的 AGI 工作进展，但没有人接话，成了一个悬而未决的插曲。
- 一位用户自嘲：靠狂刷 AI 文章，已经练成了高度个性化、本地化、离线的 RSI——主要在右手拇指上。这里的 RSI 双关"重复性劳损"，是本次讨论里唯一代表集体倦怠情绪的玩笑。
- 也有人把话题拉回价值层面：AI 的优化目标应当是让所有人无一例外地健康、快乐、安全。