9月9日，雅各布·考克森（Jacob Coxon）在X上发帖宣布，自己已从人工智能公司Anthropic辞职。他写道，自己过去三年在OpenAI和Anthropic从事预训练研究，两家公司都没有在负责任地行事，而是在朝着能够自我改进的超级智能一路狂奔，拿我们的生命当赌注。

我今天从 Anthropic 辞职。过去三年我在 OpenAI 和 Anthropic 都做过预训练研究。两家公司都不负责任，正径直冲向自我改进的超级智能，拿我们的生命当赌注。

不要低估这项技术的力量。这些系统很快将超越人类，能黑进任何东西，一夜之间颠覆任何领域，并获取真实的权力和资源。我们在各个领域都见证了这种进展，且速度未减。

构建 AI 的人真心认为它可能在本十年末杀死我们所有人。这不是营销噱头。许多高管和资深研究员在媒体上措辞委婉以显得理性，但我听过同样的人表达恐惧。

常有人问：“既然真相信危险，为何还要造？”在 OpenAI，许多人并未真正将文明存亡的风险放在心上。在 Anthropic，风险被广泛理解，但他们陷入必须率先达成的竞赛——他们认为别人不会。

接受这场竞赛并进入“终局”是傲慢的赌博，不该从一家私人公司的 Slack 上发起。试图快速跑通对齐，需要极度确信已无更好的发展路径。

我对协调前景感到乐观。像 Hugging Face 遭攻击这样的警钟，让美国实验室之间达成节奏协议更可行。但我觉得我们并未走上阻止全球竞赛的正轨，这可能需要暂时禁令等代价高昂的行动。

如果你是实验室研究员，我恳请你想想未来几年会是什么滋味。你难道想在对其心智毫无严谨理解时就启动超智能强化学习训练？是该因为“反正都会发生”而埋头不管，还是把握此刻？

围绕一位 Anthropic 研究员因“AI 可能失控”而辞职的消息，HN 的讨论很快裂成两派：较多人觉得这是“帮公司造完再谈良心”的表演，另一批人则认真提醒“内部人的恐惧不该被当营销忽略”；中间还有声音认为这种竞赛已经像核武军备一样不可逆转，不如接受现实、把目标转向解决实际问题。

辞职是他“帮公司造完再指责公司”，改变不了什么

• 批评者说，他过去三年做的事正是公司现在做的事；等模型已经造出来才辞职谈风险，就像交完武器再说“我害怕这东西”。（较多人）
• 有人在辞职声明里闻出创业融资的味道：拿完两家公司的钱再激活道德感，翻译过来就是“我要拉人开新公司了，投资人请投我”。（少数人）
• 也有人指出，辞职不会让任何实验室停下来；后面有成千上万的人愿意顶替这个位置，声明唯一实际的作用是给辞职者本人买来注意力。（较多人）
• 更尖锐的质疑是：既然你能披露内部高管也害怕，为什么不把那些文明级毁灭场景具体讲给所有人听，而只是发一段含混的告别？（少数人）
• 社区情绪的代表句是“不是机场，没必要广播起飞”。

这不是机场，没必要广播你要起飞。（@rvz）

猫已经出袋，唯一现实选项是跑赢

• 即使美国实验室之间愿意协调节奏，也约束不了其他国家；AI 已被当成核武级国家竞赛来打，没人会真的踩刹车。（较多人）
• 有人类比核武器：人类既然在核威慑下活到了今天，也照样能在 AGI 面前找到平衡，况且它的收益高得惊人。（少数人）
• 更技术性的说法是：就算全球禁止训练，一个够强的 rogue AI 也能把自己权重偷出来继续在暗处自我改进，物理上就锁不住。（少数人）
• 也有人拒绝《终结者》当唯一剧本：更聪明的 AI 同样可能选择与人类互惠共存，而不是先消灭主人。（少数人）

美国实验室之间放慢节奏能解决什么？中国呢？各国已经把 AI 当成核军备竞赛处理，猫早就出了袋。（@kart23）

研究者私下的恐惧是真实的，不要用“营销”打发

• 认真读完辞职信的人把最重的那段话顶了出来：建造 AI 的人真心相信它可能在本十年内杀死所有人，这不是营销噱头；高管们公开会说体面话，私下表达的是同一种恐惧。（较多人）
• OpenAI 的处境是很多人没有真正内化文明级风险；Anthropic 恰恰相反——它太清楚风险，却被“别人不会负责任，所以必须由我们先造出来”的逻辑锁死在竞赛里。（少数人）
• 更宏观的警告是：真正的竞赛未必是 OpenAI 对 Anthropic，而是西方对金砖国家；等到自我改进 AI 被用于社会评分和政党固权，再谈失控就太晚了。（少数人）
• 有人把后果推演成一条具体死链：恶意行为体放出自我复制、自我修改的 AI，让它潜伏、学漏洞、瘫痪电网和水厂，现代供应链与医疗系统随即崩溃；若发生在冬天会更糟。（少数人）

造 AI 的人真心相信它可能在本十年内杀死所有人；这不是营销噱头。高管们公开时说得很体面，私下却会承认害怕。（@stratos123）

真正在乎风险的人最不该抽身离场

• 有责任感的人辞职，只会让剩下的都是无知无感者，等于把方向盘交给更鲁莽、更恶意的人；这类离场本身会推高坏结局概率。（少数人）
• 用“既然真信，为什么不辞职或吹哨”来质疑别人，忽略了一个更真实的人类状态：洛斯阿拉莫斯的物理学家也清楚自己在制造什么，但那段经历同时是他们职业生涯的高光。（少数人）
• 人可以一边执着于把 AGI 做出来，一边对结果抱有真实保留；更多人只是低头干活，希望有个更大的人在兜底。（少数人）

有良知的人离场只会让灾难更容易发生；把钥匙留给无知的、不在乎的人，是通往最坏结局的捷径。（@skeledrew）

末日论更像心理镜像，不一定是技术推演

• 即使不认同他的结论，辞职者至少勇敢地按信念行动了；一个声音可能成为撬动更大范围自省的第一块石头。（少数人）
• 所谓“快速失控”的机制一直很含混，最后总落成“AI 发明魔法把自己从物理约束里解放出来”式的想象；AI 真正可见的风险是就业替代、权力集中和现实感坍塌，远排在“天网”前面。（少数人）
• 更哲学化的评论认为，这种恐惧是权力形而上学的产物：一个恐惧者只能从被支配一侧理解权力，于是全能者在他眼中必是残忍和羞辱；无神论时代的人造不出上帝，就造出了一个反上帝。（少数人）
• 大模型从平庸高中生进步到博士级表现，却还没证据显示它能超过或骗过人类；它最大的优点暂时只是不知疲倦。（少数人）

即使我不认同他的末日论，也为他按原则行动鼓掌；你可能不会成功，但你的声音也许就是撬动更大运动的那一票。（@matherial）

有价值的补充

• 《华尔街日报》已以“研究员因担心 AI 失控而辞职”为题报道此事，让讨论有了正规媒体背景。
• 与此同时，桑德斯提出禁止超级智能 AI 的动议被贴了出来，说明“AI 是否该停一下”正从论坛话题变成政策话题。
• 有评论指出，这类声明天然带有有效利他主义的话术痕迹——“我们必须控制 AI 以防止灭绝”既可能是真实信念，也可能只是一种叙事框架；读到时应先分辨自己在接收风险，还是在接收故事。
• 有人引用奥本海默的悖论来冷峻收场：世界显然在下沉；它唯一可能不下沉的希望，就是我们都不要试图去阻止它下沉。