为超越人类积累的知识，人工智能（AI）本身（被优化对象）或许也是最佳优化器与评估器。多智能体自监督（MASS）反复优化多智能体工作流，再从多智能体系统提炼集体智能，作为递归自我改进（RSI）的自监督信号。在研究基准上，它较基础模型提升了每个输出词元的得分。我们希望 MASS 推动 AI 奥德赛时刻：被优化对象即评估器、优化器即被优化对象，持续自我学习。

图 1. 从共享工作到共享知识。 这幅版画把排字、印刷和校对展示为一个协同过程的组成部分。书籍把成果带出工场，让其他人能够学习并在此基础上继续构建。MASS 借鉴了类似的思路：一个团队的集体工作可以为其成员共享的模型提供训练样本。Jan Collaert I（据 Stradanus 作品而作），《书籍印刷的发明》，约 1600 年。The Metropolitan Museum of Art，Harris Brisbane Dick Fund，1934。Public domain (CC0)。

我们希望前沿 AI 模型带领我们超越人类世代积累的知识体系。在这一前沿，即便是人类专家也可能难以评估结果并指导进一步进展，尤其是在不可验证的任务上[1]。例如，评估一个提出的发现可能需要稀缺的专业知识、昂贵的证据，或者耗时远超提出该提案的实验。这样一来，模型本身可能不可避免地成为可用的最强监督者，并需要自己弄清如何改进。这催生了同质递归自我改进（RSI）：被改进的模型（optimizee）同时充当自己的优化器和评估器。核心问题是如何在这个同质循环中获得有用的自我监督。

人类社会为解决这一问题提供了有用的类比。从采集社群、农耕聚落、工业社会到全球信息网络，人类扩展自身能力的方式之一，就是分工、整合想法并传递所学[2, 3]。集体成就成为进一步学习的起点。在《科学革命的结构》中，Thomas Kuhn 强调科学家通过学习共享范例来识别并解决问题[4]。因此，一个科学共同体的成就也会成为其成员学习开展新工作的一部分。

受此模式启发，我们提出这样一个问题：模型能否从自己团队的集体智能中学习，而这一点单智能体可能并不可靠地展现出来。

我们提出多智能体自我监督（MASS），把这一想法变成学习循环。MASS 使用同一个模型作为执行器、优化器和评估器。优化器先利用评估器的反馈搜索最佳团队工作流，然后让执行器在来自“自我判定最佳团队”的执行结果上训练。更新后的模型接着填补全部三种角色，过程不断重复。因此，MASS 通过把团队的集体经验蒸馏进共享模型，为 RSI 提供了自我监督信号。

同质 RSI

我们研究同质 RSI：一个共享的语言模型同时充当任务求解智能体、工作流优化器和评估器：

• 智能体：任务求解器，即 optimizee。产出包含结果、图表和研究报告的工作空间。
• 工作流优化器：利用评估器的反馈，修改智能体如何划分任务、交换结果以及检查彼此工作。
• 评估器：比较两个工作空间，选择哪个更好地满足任务，并解释判断。

我们使用不可验证的研究任务作为训练数据。所谓不可验证，是指没有基于规则的自动信号，只有自我评估信号（其正确性未知）来引导整个学习循环。

为了衡量进展，我们另外让 GPT-5.5 和 Claude Opus 4.8 评估已完成的工作。它们的判断对 MASS 保密。这为我们提供了外部度量，用以观察一个监督来自模型自身的过程是否取得了改进。

MASS 如何工作

MASS 先用工作流优化引出集体智能，再把团队经验蒸馏进共享模型。内循环在模型权重固定时优化团队工作流；模型自己评估并判断哪个工作流最优。外循环随后通过从优化后工作流的执行中学习来更新这些权重。下方的交互图展示了两个循环。

图 2. MASS。 工作流搜索改变了智能体的协调方式。对选中执行过程进行训练，把它们的经验带入共享权重。更新后的模型随后重新承担全部三种角色。该动画演示了这一过程。拖动进度条可探索动画任意部分（包括暂停时）；悬停组件可查看详情，选中组件可跳转到对应解释；文中带下划线的术语链接到该图。

0. 设置：作为提示的工作流

工作流是一份书面计划，规定多智能体团队应如何协作。编排者（orchestrator）把工作分配给子智能体（subagents），并整合它们的结果。该计划被加入任务提示，使团队的组织方式可供模型检查和修改[5, 6]。它包含四个组成部分：

• 角色（Role）：分配给每个子智能体的职责，例如准备数据。
• 指令（Instruction）：该子智能体应执行的工作。
• 契约（Contract）：它必须返回的信息和产物，包括任何必需的检查。
• 跳转（Hop）：子智能体调用的顺序，包括是否回到更早的步骤。

例如，一个演化出的金融工作流把数据准备、特征构建、建模和回测排成序列，随后进行审计。它的数据契约要求对数据的时间划分做显式检查：

• 调用顺序：数据 → 特征 → 建模 → 回测 → 审计 → 对账 → 报告
• 数据专家的输出契约：
  • validation_report:
    • nofutureleakage: bool
    • trainendbeforevalstart: bool
    • valendbeforeteststart: bool

回测如果让历史决策使用了来自未来的信息，看起来会很有说服力。该契约要求数据专家检查这一错误，并报告时间切分是否有效。它也告诉后续智能体在继续前应收到哪些证据。因此，研究计划的一部分就体现在智能体必须确立并相互传递的内容上[7, 8]。

1. 内循环：搜索更好的工作流

对于每个训练任务，MASS 保留一个冠军（champion）：根据当前模型判断迄今为止找到的最佳工作流。每次迭代包含三个步骤：

1. 执行。 团队遵循候选工作流，产出一个工作空间。
2. 评估。 评估器把这个工作空间与冠军的工作空间比较，并解释哪个更好。胜出的候选成为新冠军。
3. 修改。 优化器利用反馈历史提出下一个工作流。

评估器评判已完成的工作；优化器则利用该判断去修改产生这份工作的流程。优化器的系统提示强调契约和跳转，把工作流搜索导向“智能体交换哪些信息”以及“何时收到这些信息”。

2. 外循环：从选中的团队中学习

即便使用了优化后的工作流，长周期研究工作的质量仍可能随运行而波动。因此，MASS 用多个随机种子执行自我判定最优的工作流（即冠军工作流，指迄今为止找到的最优工作流），并用当前模型对得到的工作空间排序，保留排名最高的轨迹。每条轨迹记录编排者及其子智能体的消息、工具调用和工具结果。

1. 每个任务运行冠军工作流 18 次。
2. 用当前模型比较并排序得到的工作空间。
3. 每个任务最多保留 16 条轨迹：15 条用于训练，1 条用于验证。
4. 构造训练样本时，从编排者的初始提示中移除工作流文本。
5. 用 LoRA[9] 在编排者和子智能体对话上对共享模型进行微调。模型输出是训练目标；任务提示和工具结果提供上下文。

从编排者的训练提示中移除工作流，是为了促使模型从任务本身学习如何组织工作。

结果

我们从 qwen-code 编码智能体环境中的 Qwen3.6-27B 出发，运行了两轮完整的 MASS。我们的合成研究套件包含金融、机器人和制药领域的 12 个任务，每个任务都需要代码、量化结果和研究报告[8]。其中 9 个任务用于训练，3 个（每个领域 1 个）在后训练之外留出。最终有 8 个任务提供了训练数据。

我们比较三代模型：基础模型、第一轮模型和第二轮模型。我们考察它们的工作质量、组织和判断工作的能力，以及在未提供工作流时使用协调的能力。

更好的任务表现

在三个合成测试任务上，对比基础模型的胜率从一轮后的 53.9% 升至两轮后的 69.9%（表 1）。第二轮模型对比第一轮模型也取得 60.8% 的胜率。

| 评估任务 | 第 1 轮 vs. 基础 | 第 2 轮 vs. 基础 | 第 2 轮 vs. 第 1 轮 | | --- | --- | --- | --- | | 训练任务 | 65.6% | 82.5% | 68.1% | | 测试任务 | 53.9% | 69.9% | 60.8% |

表 1. 合成任务表现。 外部评判者在 8 个训练任务和 3 个后训练留出任务上的胜率。所有模型都接收不带优化工作流的任务提示。

为了测试向合成研究套件之外的迁移，我们在公开基准上评估。两轮之后，在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，每输出 token 得分达到基础模型水平的 1.2–1.6 倍（图 3）[10, 11, 12, 13]。

图 3. 公开基准表现。 每根箭头连接基础模型（蓝色）和经过两轮 MASS 后的模型（绿色）。标签报告每输出 token 得分相对于基础值的变化倍数。误差棒显示各次试验的标准差。转载自论文图 2；附录 C.5 给出基准协议和试验次数。

在四个与训练任务相似的研究基准上提升最强。Terminal-Bench 2.0 上每输出 token 得分为基础值的 0.96 倍，SWE-bench Verified 上为 0.94 倍[14, 15]，说明迁移仍不均衡。我们怀疑，只要在训练数据中加入软件工程任务，这种泛化问题就很容易解决。

观察 1：RSI 中的角色泛化

我们观察到 MASS 能在 RSI 中实现角色泛化。我们只在任务求解轨迹上训练模型，却发现工作流优化器和工作空间评估器的能力也提升了。 这使 RSI 循环得以持续。

图 4. 角色泛化。 后续世代能更早找到成功的工作流。每条曲线使用同一世代的模型承担全部三种角色。当全部六个外部判断都偏好某个候选工作流的输出、而非无工作流基础模型的输出时，该任务才被计入。曲线记录到每次迭代时是否已找到成功结果；后面的候选仍可能表现更差。

图 4 显示，随着循环推进，优化器能更快找到成功的工作流。但严格来说，图 4 的对比并不十分公平：它表示基础模型（优化器）更新基础模型（optimizee），而另一条表示第一轮模型（优化器）更新第一轮模型（optimizee）。为了公平比较，我们把第一轮模型搜索到的工作流交给基础模型（表 2）。我们发现，使用第一轮搜索工作流的基础模型，对比使用基础搜索工作流的基础模型，胜率为 64%。表 2 清楚表明优化器的能力增强了。

| 执行器 | 工作流来源 | 对比对象 | 胜率 | | --- | --- | --- | --- | | 第 1 轮 | 第 1 轮搜索 | 执行基础搜索工作流的基础模型 | 80% | | 基础 | 第 1 轮搜索 | 执行基础搜索工作流的基础模型 | 64% | | 基础 | 第 1 轮搜索 | 无工作流的基础模型 | 63% |

表 2. 工作流迁移。 在突出显示的对比中，同一个基础模型执行两组工作流。外部评判者评估所得工作空间。

评估者也更接近强大的外部模型评判者（论文中有更多细节）。在三个循环中，与外部评判者的一致率从 73% 升至 93%。总体而言，这些结果表明，任务求解示例也能提升用于产生和筛选下一轮训练数据的能力。

消融 1：最优工作流最大化信息流

究竟是什么让最优多智能体工作流有效？

我们分析冠军工作流（迄今为止找到的最佳工作流）的角色、指令、契约和跳转。对于每个组件，我们估计其文本透露了多少任务信息。在上面的金融示例中，“细心的数据科学家”这类角色可应用于许多任务。而规定对交易回测进行泄露检查的契约则更具区分度。

图 5. 任务信息向契约和调用顺序转移。 曲线显示自迭代 3 以来的变化。到迭代 11 时，估计任务信息在角色和指令中下降，在契约和跳转中上升，两种嵌入模型和两种估计器变体结果一致。中间变化未必单调，且纵轴尺度不同。

图 5 显示，在 workflow 优化的首轮和最终轮之间，最优多智能体工作流倾向于把任务信息更强地编码在契约和跳转中，而更少地编码在角色和指令中。我们此处未展示，但组件间的相互依赖通常也会下降（很有趣！）。这一模式表明，LLM 优化器演化出的工作流组件彼此更加独立，同时通过契约和跳转优化信息流（参见这篇博客文章获取深入直观的解释）。我认为，对离散组件的工作流优化类似于发现该 harness 空间的一组基向量。

观察 2：多智能体轨迹提供密集的 RSI 信号

我们观察到，在 RSI 中，来自多智能体系统的轨迹可能比单智能体轨迹更有效。多智能体执行也改变了训练数据的结构。编排者的对话展示了如何把宽泛任务拆分为聚焦的子任务并协调其执行。子智能体的对话展示了如何执行单项任务。具体而言，我们观察到，联合学习编排者的协调能力和子智能体的有界执行，比从长单智能体轨迹中学习，在每个训练 token 上提供了更有效的监督（图 6）[16]。

我们比较从同一基础模型独立训练的学生：单智能体轨迹（S、S+、S++）、多智能体轨迹（M、M+）和混合（X）。加号表示更大的训练集；M+ 是第一轮 MASS 模型。以下所有点报告四个训练任务和一个测试任务汇总的结果。

图 6. 每个监督训练 token 的性能。 多智能体学生位于连接单智能体结果的线条上方。得分汇总了四个共享训练任务和一个测试任务。token 计数包括截至所选检查点处理的监督目标（含重复采样），不包括数据生成、搜索和评估。

对比基础模型，M+ 在处理 28.8M 监督训练 token 后达到 68.3% 胜率，而 S++ 在 42M token 后达到 64.0%。因此，MASS 模型以少 31% 的监督 token 取得了更高的分数。

更高质量的轨迹可能是这一优势的原因之一。在另一项分析中，强大的外部评判者在 85.1% 的对比中偏好多智能体系统的工作，而非单智能体输出。团队运行平均也生成约 2.4 倍的 token。但当我们比较 SFT 期间使用的监督 token 时，发现多智能体轨迹能比单智能体轨迹提供更密集的学习信号。

这些结果表明，多智能体系统的轨迹在 RSI 中可能比单智能体轨迹更有效，将其价值扩展到了测试时扩展之外。

观察 3：RSI 的瓶颈可能是优化器，而非评估器

我们观察到，RSI 的瓶颈可能是优化器，而不是评估器。我们保留基础模型作为任务求解器，仅把更强大的外部模型（GPT-5.5）换入评估器，或同时换入评估器和优化器。

图 7. 工作流搜索消融。 按搜索迭代统计，演化后的工作流击败裸基础模型的任务数量。执行器始终是基础模型。把评估器和优化器都升级为 GPT-5.5（橙色虚线）在 5 次迭代内为所有 12 个任务找到获胜工作流。仅升级评估器（绿色）帮助小得多。全同质循环（蓝色）较慢，但最终仍为 12 个任务中的 11 个找到获胜工作流。

图 7 显示，仅升级评估器帮助不大，但同时升级优化器帮助很大。严格同质的自我改进循环最终确实为 12 个任务中的 11 个找到了获胜工作流，只是耗时更长。我们的解释是：强大的评估器可能提供高质量反馈，但弱优化器没有足够能力消化它。这表明，在预算有限时，在 RSI 循环单元内可能必须优先优化器，而非评估器。

图 8. 工作流搜索稳定性。 基础模型执行各候选工作流时，对比同一模型无工作流时的胜率，按搜索迭代统计。颜色与图 7 配置对应。强劲的迭代之后可能出现急剧的性能回退。

图 8 也显示工作流搜索是嘈杂的。在文本空间优化中，达到好的工作流与稳定地改进它是不同的问题。这表明 LLM 优化器可能需要相当于学习率调度器的东西，来稳定文本空间中的搜索。

结论

在 Tennyson 的《Ulysses》中，Odysseus 想象另一次航行，追求“超越人类思想最远边界”的知识[17]。对 AI，我们想象一个 Odyssean moment：当继续学习必须在没有更强监督者的情况下进行时。挑战既涉及谁能够监督进一步学习，也涉及应如何判断进展。人类专家也许能够陈述目标，却无法指定一个完整捕捉该目标的目标函数。

写作就是一个好例子：专家写作者能识别优秀的写作，却难以把他们的判断表达成可在不同情境中可靠应用的评分规则。对 RSI 而言，研究问题是如何把不完整的人类指导转化为有用的学习标准，以及如何检验这些标准在能力增长时是否继续捕捉预期目标。当被改进的模型同时充当自己的优化器和评估器时，这变得尤其具有挑战性：指导改进的那些判断本身也必须保持可修正。

图 9. Tennyson《Ulysses》插图（1857）。 绘画：Clarkson Stanfield；雕刻：W. J. Linton。扫描：George P. Landow，The Victorian Web。

让系统的自我评估保持可修正，对安全也至关重要。在同质循环中，共享盲点可能导致一个有缺陷的结果被产生、被当作改进接受，并被纳入下一个模型。如果人类也难以识别该缺陷，连续的更新可能会强化它。安全担忧在于，同一个弱点可能同时损害系统的行为和本应用于纠正它的机制。

从这个意义上说，共享盲点可能是递归自我改进的 Achilles’ heel（阿喀琉斯之踵）。理解它们对控制一个更强的系统很重要，因为它揭示了在何处最不该依赖系统自身的判断。这一知识可指导独立检查、对自主行动的限制以及干预条件。仅识别弱点并不能确立控制；我们还必须表明，随着系统变化，我们能够检测其后果并有效干预。

OpenAI 关于思维链可监控性的研究说明了这一挑战的一部分：推理痕迹有助于揭示不当行为，但提供的证据并不完整[18]。最近对可能的智能爆炸的分析给出了更早研究这些条件的更多理由[19]。这是 AI 的 Odyssean moment 的核心安全问题：当没有更强监督者可用时，如何保持有意义的监督。⛵

讨论整体偏怀疑与疲惫：多数人质疑这篇工作把有限结果包装成无界递归自我改进（RSI），并担心自我优化带来的目标漂移与指标钻空子；少数人则认可其中的技术探索，但分歧在于它究竟是自动 RL 环境生成的雏形，还是只是窄范围的多智能体协作优化。

认为论文叙事远大于实际成果，所谓 RSI 名不副实

• 怀疑者认为，论文用“超越人类积累知识”等宏大措辞包装，但发布代码与论文不一致，实际结果窄得多；所谓无界 RSI 的真实内容只是训练智能体通过改善沟通来高效协作，改进空间有限，而且只跑两轮就停也很可疑；还有人担心成本极高（认可度：较多人） > 他们放出的代码和论文对不上，实际结果也比那些宏大用词所要求的分量窄得多（@cootsnuck）

认为它是带微调的自动 RL 环境生成循环，有潜力但需防指标失控

• 少数人觉得它不只是运行框架优化，而有真正的微调步骤，接近“自动 RL 环境生成”类工作的终局；难点是把训练保持在正轨，避免 Goodhart 到无关指标（认可度：少数人） > 它有微调步骤，所以不只是个运行框架优化器；这种循环可能是自动 RL 环境生成的终局，但难点是把训练保持在正轨、不要 Goodhart 到无关指标（@2001zhaozhao）

质疑“RSI”定义过宽，认为这可能只是已有模型评判智能体流程的广义化

• 少数人追问定义：若按“模型同时是被优化者、优化者和评估者”的标准，让模型评判一群智能体的对齐与能力、从而完成训练的过程是否早就算 RSI？本工作是否只是那种执行模式的广义形式（认可度：少数人） > 按这个定义，让模型评判一群智能体的对齐与能力、从而完成训练的过程算不算 RSI？若算，这是否只是那种模式的广义化（@status_quo69）

认为让模型自我优化与评估会放大对齐风险，目标可能漂移

• 少数人讽刺地指出，在非可验证任务上连人类专家都可能难以评估；让模型同时作为被改进对象、优化器和评估者，会放大目标漂移与对齐风险，我们其实并不擅长让模型始终聚焦人类选定的目标（认可度：少数人） > 幸好我们早已知道如何让模型专注于我们选定的目标，而不是它们自然演化出来、必须由人类纠正的目标（@saagarjha）

认为进展仍符合 AI 2027 式快速轨道，未来好坏难料

• 少数人觉得这听起来仍在通向 AI 2027 预测的轨道上，不管结果是好是坏（认可度：少数人） > 听起来我们还在通向 AI 2027 的轨道上，是好是坏不好说（@codethief）

希望尽快发现模型学习的信息论极限

• 少数人希望早日发现当前范式下模型学习的信息论极限，以此给无限扩展的叙事降温（认可度：少数人） > 当前范式下若能发现模型学习的某种信息论极限，那真是越快越好（@dpweb）

有价值的补充

• 苹果 Intelligence 论文的一条设计教训是：凡是能在 LLM 之外以递归、确定性方式完成的事，就不该放进 LLM 里做（@jsemrau）。
• 有人用穴居人比喻递归自我改进：让石头互相辩论、围成一圈自我纠正，但最后猛犸象还是没被煮熟，暗指自纠正循环未必达成真正的目标任务（@throwyonion）。