Ilya Sutskever认为AI发展正从规模扩展转向研究创新阶段，讨论了SSI的战略、预训练问题、提升模型泛化能力的方法，以及如何确保AGI良性发展。访谈中还提及Gemini 3模型能帮助进行创造性思考并执行实验，Labelbox工具改进了播客转录质量。

伊利亚·苏茨克弗：从规模时代迈向研究时代

在最新一期的播客中，人工智能领域的顶尖研究者伊利亚·苏茨克弗（Ilya Sutskever）与主持人德瓦克什·帕特尔（Dwarkesh Patel）深入探讨了AI的未来发展方向。苏茨克弗认为，AI领域正在从“规模时代”转向“研究时代”，并分享了关于模型泛化、对齐（alignment）以及超级智能（superintelligence）的见解。

从规模到研究的转变

苏茨克弗指出，过去几年AI的发展主要依赖于“规模扩展”（scaling），即通过增加数据、计算资源和模型参数来提升性能。然而，随着预训练数据的逐渐耗尽，单纯依赖规模扩展的收益正在递减。他预测，未来AI的突破将更多依赖于研究创新，而非简单的资源堆砌。

泛化能力的挑战

当前AI模型在评估指标（evals）上表现优异，但在实际应用中的表现却参差不齐。苏茨克弗认为，这与模型的泛化能力不足有关。他以编程为例，指出模型可能在修复一个bug时引入另一个bug，甚至陷入循环。他提出两种可能的解释：
1. 强化学习（RL）的局限性：RL训练可能使模型过于专注特定任务，而忽略全局。
2. 数据选择的偏差：在RL训练中，研究人员倾向于优化模型在特定评估任务上的表现，导致模型在实际场景中表现不佳。

人类学习的启示

苏茨克弗对比了人类与AI的学习方式。人类能够从少量数据中高效学习，并在不同任务间灵活迁移知识，而AI模型则需要海量数据。他认为，人类的“价值函数”（value function）——类似于情感驱动的决策机制——可能是关键。例如，大脑受损导致情感缺失的患者往往难以做出简单决策，这表明情感在人类学习中扮演重要角色。

超级智能的未来

苏茨克弗认为，未来的超级智能可能并非一次性构建的“全能AI”，而是具备持续学习能力的智能体。这些智能体可以通过部署和实际应用不断进化，类似于人类通过经验积累知识。他预测，超级智能的出现将带来快速的经济增长，但也可能引发新的挑战，如权力集中和伦理问题。

对齐与安全

在讨论AI对齐问题时，苏茨克弗提出，未来的超级智能应被设计为“关心有感知的生命”（care for sentient life）。他认为，这种设计可能比单纯追求“人类利益”更稳定，因为AI本身也将成为有感知的主体。此外，他建议通过技术手段（如计算能力上限）限制超级智能的权力，以避免失控风险。

SSI的研究方向

苏茨克弗创立的公司Safe Superintelligence Inc.（SSI）专注于研究如何实现超级智能的安全发展。他强调，SSI的核心优势在于其独特的技术路径，而非单纯依赖计算资源。他预测，随着AI能力的提升，行业将逐渐收敛到相似的安全策略。

研究的美学

作为AI领域的领军人物，苏茨克弗分享了他的研究哲学：追求简洁、优雅且受生物学启发的解决方案。他认为，真正的突破往往源于对“事物本质”的深刻理解，而非盲目跟随数据。

结语

苏茨克弗的见解揭示了AI领域的未来趋势：从规模驱动转向研究驱动，从静态模型转向持续学习的智能体。随着超级智能的临近，如何确保其安全、可控且符合人类价值观，将成为核心挑战。他的思考为行业提供了重要的方向指引。

（注：本文基于播客内容整理，部分细节有所删减。）

主要观点总结：

1. AI扩展（scaling）的有效性争议

   • 支持"扩展已不再有效"的观点：
     "Free lunch of getting results just by throwing money at the problem is over."（scotty79）
     "Research now matters more than scaling when research can fix limitations that scaling alone can't."（alyxya）
   • 反对"扩展已结束"的观点：
     "He’s wrong we still scaling, boys."（Herring）
     "Scaling is not over, there's no wall."（giorgio引用Gemini研究副总裁）

2. 研究 vs. 扩展的辩论

   • 研究重要性上升：
     "You make the model bigger and the odd failures don’t really disappear...the next jump won’t come from size alone."（johnxie）
     "Calling for more research and less scaling is essentially saying; we don’t know where to go from here."（l5870uoo9y）
   • 扩展与研究的统一性：
     "If the scaling reaches the point at which the AI can do the research...then scaling and research amount to the same thing."（delichon）

3. 行业现状批评

   • 商业模式问题：
     "All coding agents are geared towards optimizing...getting people to put out more tokens — or $$$."（itissid）
     "It feels like being stuck on Calvin's toboggan, headed for the cliff."（wrs）
   • 学术跨界傲慢：
     "There is an arrogance...that makes its members too comfortable trodding into adjacent intellectual fields."（JimmyBuckets）

4. 技术局限性反思

   • 泛化能力缺陷：
     "These models somehow just generalize dramatically worse than people."（lvl155引用/l5870uoo9y引用）
     "biological intelligence is 'learning' not just from your experience, but that of thousands of ancestors."（londons_explore）
   • 产品化挑战：
     "higher intelligence doesn’t necessarily translate to all users feeling like the model has significantly improved"（alyxya）

5. 利益相关性质疑

   • 立场可信度：
     "He is, of course, incentivised to say that."（xeckr）
     "you should assume every big name there is talking their book."（tmp10423288442）

（注：所有评论均无评分数据，故未包含认可度分析）