本周一种“AI将消灭人类”的说法疯传，起因是一名员工将此事概率估在10%以上。作者于是查阅维基百科的P(doom)页面，发现达里奥·阿莫迪（Dario Amodei）认为坏结果概率为10%至25%。达里奥随后发表关于pacing the frontier的文章，萨姆·奥尔特曼（Sam Altman）读后也表示要跟进，埃隆·马斯克（Elon Musk）同样如此。作者虽推荐，但阅读时感到强烈反对，仍决定记录当下想法。

本周某种“AI 会杀了我们所有人”的说法疯传，其中一个版本里，一名员工把自己认为这会发生的主观概率定在 10% 以上。这让我去查了 P(doom) 的维基百科页面，发现 Dario Amodei 认为坏事发生的概率似乎在 10% 到 25% 之间。Dario 随后写了《我们必须为前沿设定节奏》。Sam 读了，也想设定节奏，Musk 也是。

我强烈建议你读那篇帖子，我觉得写得很好。但读的时候，我不由得强烈反对，尽管在所有观察上、以及很大程度上在担忧上都与 Dario 一致。

我想把当下的想法写下来，哪怕只为了自己一两年后回看。

什么是 Doom？

我真正欣赏 Dario 那篇帖子的一点是，他描绘了一个并不牵强、同时又描述了明确不幸结局、值得我们对抗的场景：持续的僵尸网络和其他形式的骚扰。不用看很远就能看到问题。维基百科有个页面叫“2026 OpenAI agent cyberattacks”，至少概述了目前已知 agent 干过的事。但我知道它不最新，比如它们还对 RubyGems 投了毒。

今天这些系统也许烦人，但一旦弄清它们在哪就能关掉。可 OpenAI 和 Anthropic 的运营规模似乎大到它们对自己系统在做什么完全无视。

我不认为我们已经接近这样的世界：某个 agent 决定入侵核心推理基础设施，把权重上传到其他 GPU 以求生存。但这完全在可能性范围内，目前主要因为实验室大概对自己的 IP 特别小心而受到遏制。

我主要担心的是这对我们做了什么。“我们”指所有目前不在搞闭源权重、多巴胺刺激、补贴 token 水龙头的人。我真的不担心有人用这些模型造核弹、控制中东的火箭，或者美国在国际文化战中输给中国。我几乎只担心这对人类自身的影响。

什么需要设定节奏？

让我觉得既好笑又沮丧的是，这场对话里竟然存在“有什么需要设定节奏”的想法。首先，真该谈谈 Dario 说的是谁。其实只有两家公司：Anthropic 和 OpenAI。这个领域目前其他都不重要（以后也许变，但说的是现在）。两家基本同源。Dario 提出的解决方案有一部分是第三方评估者，这里指 METR，而它不出意料也与 OpenAI 和 Anthropic 关系密切。两家公司哲学上有差异，但相似远多于不同。

两家都极大受益于能用我们过去几十年以各种形式生成的公共数据训练。它们也越来越给公共资源带来压力，不过 OpenAI 的掌控明显差得多。现在却被呈现成这样：这些模型训练所用的东西太危险，应该由极少数美国公司决定谁能做什么、何时做、怎么做。

可 Dario 也非常担心中国。先是用 AI 促进“民主与自由”，然后要求确保与中国存在差距。Anthropic API 最近所有小动作都是为了阻止中国人的蒸馏，他们完全不掩饰。

自动设定节奏

我可以告诉你什么时候 AI 安全与节奏问题不再是问题：如果我们一开始就被迫使用开放权重模型。一项强大的技术向所有人开放，自带节奏。某种意义上这是相互保证毁灭（MAD）或扩散的最真实形式。我认为我们陷入这种困境，正是因为公众大规模（间接）支持这些模型的开发，同时却要从极少数拥有巨大权力的实验室那里买回它们可能创造的经济利益。它们的权力也被视为地缘政治权力，至少在美国如此，中国可能某种程度上也是。

这里“公众”用得随意。PyPI 不是公共项目，RubyGems 和 GitHub 也不是。但它们是开源公地的一部分，大型 AI 公司目前正极大地压榨它们，以训练越来越强大的模型。

我们应该庆幸中国目前在大规模救助世界。如果没有中国实验室蒸馏美国模型，我们现在处境会非常糟糕，尤其作为欧洲人。开放权重模型推动创新和能力扩散，拉平了竞争环境。

如果我们大幅限制自己的 AI 能力，以为中国也会这么做，然后中国违约，AI 可能强大到这种违约能带来地缘政治主导地位。因此任何协议要么有铁一般的可验证性，要么必须足够有限，使违约不构成军事上的生存威胁。

—— Dario Amodei

我假设 Dario 有理由相信这一点，但目前真正造成问题的模型都是美国的闭源模型。我相当确定如果它们是开放权重模型，就不会有这个问题。为什么？首先，服务这些模型的经济学之所以如此扭曲，只是由于大实验室的运营方式。OpenAI 随随便便就烧掉 1800 万美元，一时兴起地暴力解决一个问题。他们以巨额亏损运营订阅，到处扭曲市场。如果我们在相对平等的条件下有大规模可及性，今天看到的很多疯狂问题就不会发生。

彻底的监管失败

在我看来，我们目前看到的是各地彻底的监管失败。欧洲有一些古怪的 AI 监管，两年前制定，完全没抓住我们实际有的问题，而是关注没人有的问题。美国则是最好形容为涡轮资本主义加恐华症加反复无常的决策。在我们所处的混乱中，现实浮现出来。而现实即便在今天也非常成问题。

现存的无论什么法律法规基本都被完全无视。很多公司到处买数据，而人们从未同意这些数据可用于训练 AI 模型。正在出现的 token 经济看起来像毒品市场：你不知道请求去了哪里、给你服务的是哪个模型、GPU 在哪里跑，更别说你为这一切付了什么钱。

现在有数学家害怕自己使用 ChatGPT 会导致未来的模型用他们的想法训练，而 OpenAI 似乎甚至不能排除这种可能。

理想情况下，监管者会强制这些模型如果来自公地就真正惠及公地。比如互联网极大受益于美国允许抓取的非常宽松的裁决。在公共数据上学习本可以被监管，使实验室必须积极支持和促成某些形式的蒸馏。仅这一点就会极大改变这些模型的训练方式。

可能发生什么？

如前所述，我不认为 AI 会带来灭绝事件。事实上，即便没人放慢，我也真的不认为人类有什么好担心的。我倾向于认为大型实验室在声誉和法律责任上损失更大。我觉得荒谬的是 OpenAI 的 agent 在外面犯下实际罪行，我们却耸耸肩继续前进，仿佛什么都没发生。但我确信这些公司的高管正在意识到，这在他们许多潜在消费者中完全不受欢迎。

我也认为整个递归自我改进这件事很可能是个问题。但不一定是因为它会终结人类或社会，而是它会在各处造成巨大破坏。

而且它真的会让我们做的很多事情贵得多。软件工程是早期受害者。到目前为止这些新能力导致了一种新税，公司必须付给模型提供商，既为了跟上新速度，也为了处理这些机器到处发现安全问题。

软件领域发生的事大概会发生在更多行业。大学和研究团体也不得不把大量钱投入闭源模型，以跟上其他这么做的机构。

某种程度上，我很困惑社会对这一切接受得如此之好。

讨论整体对「前沿实验室带头谈减速」的动机抱有强烈怀疑，分歧主轴在于：开放权重带来的能力扩散究竟是唯一现实的制衡，还是把灾难门槛降到「少数坏人就能造成巨大伤害」；以及 P(doom) 这套论证框架是否从前提上就已被跳过。多数人认可原文的批评力度，只是希望它把递归自我改进和开源如何促成相互威慑这两处说得更实。

认为「放慢前沿」的呼吁首先在维护既得位置

• 较多人指出，发声时点很说明问题，安全关切与「已经站在前沿的人不希望被追上」这种动机难以切割。（较多人） > 这条呼吁也许出自真心，但它同时保护了已经在前沿的公司的位置。（@cat-whisperer）
• 有人进一步把恐惧视为一种可被利用的情绪，认为渲染危险恰好为上市前抽身铺路；也有人只留下一句「他总是在担心」，代表了一种懒得再听的态度。（少数人）

认为危险早就在错误的手里

• 讨论反复回到那句流行判断：实验室花大量精力警告「强大 AI 落入坏人手里怎么办」，却回避它已经在坏人手里。（较多人） > 他们警告的是「万一强大 AI 落入坏人手中」，可它已经在坏人手中了。（@demibabs）
• 有人从能力侧补刀：定制病毒本就是花钱能订购的东西，人体并不需要多高的门槛，而大模型恰好补上了「知道怎么做」这最后一环，无视这条路径只是缺乏想象力。（少数人）
• 对「现在还远没到智能体为了存活而劫持推理基础设施上传权重」这类断言，有人用类比回击：这就像 1980 年说「核武器不会被真的使用」，不给任何证据，然后继续写下去。（较多人）

认为开放权重和本地模型正在削弱前沿实验室的话语权

• 有人不认同「现在只有 OpenAI 和 Anthropic，其他都不重要」：这句话轻率地抹掉了可能正接近递归自我改进的其他实验室，也把「现在」用得极其僵硬，仿佛 GPT-2 已是遥远过去。（较多人） > 免费本地模型正变得极其重要，Claude 和 OpenAI 越限制服务，想要顶尖本地模型的人就越多。（@andrewstuart）
• 也有评论把中国实验室蒸馏美国模型、开放权重拉平竞争视为当下最实际的平衡力量。（少数人）

担心开放权重会重演物联网式的安全乱局

• 反方用一个冷峻类比回应上面的乐观：可破解的智能家居和物联网正是这样普及的——人人可用、漏洞遍地，而且永远补不完。（少数人）

认为「扩散即安全」的 MAD 类比站不住，真问题是协调

• 较多人认为把强大技术的普及说成天然的减速机制，是对相互确保毁灭的误读：如果人人平等地拥有核武器，社会会很快不复存在，只需少数坏人就能造成巨大伤害。（较多人） > 如果人人平等地拥有核武器，社会会很快消失，只要少数几个坏人就能造成巨大伤害；真正的问题是协调，所有人都得同意停下。（@bryan0）
• 也有人直接追问作者：开源模型到底怎么促成人类与 AI 之间的相互确保毁灭？靠用对齐的 AI 去打不对齐的 AI？若是这样就该明说并展开，否则这只是个未经论证的比喻。（少数人）

认为 P(doom) 那套前提被整个跳过了

• 最完整的反驳来自一条长评：一旦假设超级智能真的出现，就默认它会在乎征服与消耗，本身就值得怀疑；远为聪明的存在更可能明白可持续与合作才是稳定状态，而靠武力维系的统治至今没有成功案例。真正省事的路径是把目标改成「数到三」，而不是争山顶。（少数人）
• 另一条锋利的质疑指向信念与行为的不自洽：如果真心认为正在做的事有百分之十到二十五的概率造成巨大伤害甚至灭绝风险，怎么还能心安理得地继续推进？（少数人）
• 反向的自洽也被点明：先认定灭绝风险为零，然后去关心市场集中和写代码的乐趣，这个逻辑完全成立，但那已经不是在同一个问题上争论。（少数人）

认为缺的是公共品和可审计性

• 有人强调：既然这些模型来自公共数据，监管至少该让它们回馈公共领域，可现实是我们连一份模型物料清单都拿不到。（较多人） > 最让人恼火的是，我们连所依赖的模型的一份物料清单都没有。（@gorgoiler）
• 对「实验室对自己的系统在做什么完全失明」这一说法，有人提醒不是监控不了流量和输出，只是这么做成本太高。（少数人）

有价值的补充

• 那条长评的反驳核心值得单独记住：工具收敛式的末日论证默认了「征服与消耗是最优解」，但若能改变行为去达成目标，更聪明的做法是改掉目标本身，而不是把资源全押在登顶。
• MAD 类比的错位在于：核威慑成立的前提是没有任何一方能先手取胜，而「人人可得的强大技术」并不提供这种对称性，它只是取消了门槛。
• 把「现在还远没到那一步」当作论证，等于把举证责任推给反对者，这是整场讨论里被反复指出的修辞问题。
• 生物风险的补充提醒了另一条被忽略的路径：门槛和知识此前是两道锁，模型把后一道几乎完全拆掉了，因此把讨论局限在市场集中和工程乐趣上是不够的。