Hacker News 中文摘要

RSS订阅

好人拒绝作恶 -- Good people refuse to do bad things

雅各布·考克森(Jacob Coxon)上周在 X 上告别 AI 行业。他在后续帖中称,构建 AI 的人真心相信它可能在这个十年结束前杀死所有人。他不是首席执行官,不是著名科学家,也没有博士学位,27 岁加入安思罗匹克(Anthropic),主要因其安全声誉。他像多数工程师一样想解决问题、让世界更好,却在股权归属前两个月离开,放弃收益发声,并说自己不再有推高公司估值的动机。

正文

上周,Jacob Coxon 在 X 上这样告别 AI 行业。在后续帖子里,他写道:

“建造 AI 的人真心相信,它可能在这个十年结束前杀死我们所有人。这不是营销噱头。”

Jacob Coxon 不是明星。他不是 CEO,不是著名科学家,也没有博士学位(没错,在美国没有博士也能当“AI 研究员”)。他 27 岁加入 Anthropic,主要是因为它的安全声誉,他喜欢解决问题,喜欢“让世界变得更好”。

换句话说,他是个工程师。和我们大多数人一样。

但他做了我们大多数人从没做过的事:在股权兑现前两个月离开,放弃股权去发声。

“我再没有任何理由去抬高 Anthropic 的估值……我在任何股权兑现之前就离开了。”

注意,他没说 Anthropic“邪恶”。他甚至告诉《华尔街日报》,他们的安全工作是真心的。他的指控更冷:如果你承受着竞赛的压力,你就得抄近路。

你可以说反应大得离谱。一封辞职信,超过 1.15 亿次浏览,工程师、创业者乃至普通人之间的怒火,议员突然呼吁监管。但这正是重点:当一名工程师的离职让全世界警觉,说明世界早已在怀疑:当机器内部的人说它危险,这噪音更像是一种症状,而不是负面舆论。

内部人自己证实了。Anthropic 对齐团队负责人 Evan Hubinger 写道:

“Jacob 说得对——我们确实真心相信 AI 可能杀死全人类!我个人认为未来十年内概率超过 10%。我相信 Anthropic 已尽力,但我们还没有解决超级智能对齐的方案,也没有明确走在正轨上。”

我们看过这部电影

五年前,另一名员工看着自家公司的内部研究,面对同样的选择。

《华尔街日报》“Facebook 文件”披露的 Facebook 自家幻灯片:

“我们让三分之一少女的身体形象问题变得更糟。”

还有:

“在报告有自杀念头的青少年中,13% 的英国用户和 6% 的美国用户把自己的轻生念头追溯到 Instagram。”

Frances Haugen 没有耸肩了事。她收集文件,辞职,在美国参议院作证。

2026 年的 Coxon,2021 年的 Haugen。不同的公司,同样的动作:他们拒绝,他们离开,他们警告外界。

模式本身才是重点。两起案件里,公司都知道。两起案件里,都是内部的某个人必须决定,“知道”够不够。

疾病

把它简化为几家邪恶公司很诱人。更不舒服、也更准确的做法,是看喂养它们的文化:我们的文化。

如今的工程师被要求崇拜生产力,把质量当成奢侈品。一项 2026 年针对科技从业者的大型调查,用一位受访者的话概括了现状:

“我能做得更多、更快,但没做得更好。”

同一份调查给这种状态起了名字:微笑的疲惫。人们在重新交付,薪酬涨了,却没有关机键。超过一半(53%)的科技从业者会劝新人别进自己这一行,而他们自己留下。另一份关于软件交付的报告发现,67% 的开发者现在花更多时间调试 AI 生成的代码。我们接受劣质输出,接受疲惫,看着自己工作的质量下滑,全是为了报酬。

这不限于 AI 实验室。同样的条件反射,让工程师为监控产品、成瘾算法、国防合同和外包工作找借口:“如果我拒绝,更糟的人会去做。”

我以前写过,舒适是技能之敌。但那太温和了,因为我们最终看到,舒适是责任之敌。

拿士气换钱不是职业选择,而是一笔交易。交易中你卖掉自己本该在乎的那部分。做得够多,它就回不来了。这不是倦怠,但仍是疾病。而像每种疾病一样,它会传播:先到你的团队,再到你的产品,再到使用它的人。

指控

那么,你为什么还在为他们工作?

如果答案是薪水,就说得大声点,别强迫自己找借口。如果答案是“更糟的人会取代我”,也说,更大声地说。如果答案是“我能从内部改变事情”,那就给我看看你改变了什么。Haugen 试过内部,Coxon 试过内部。最后,内部没有动。

我们生活在一个社会里,我们的每一个行为都带着责任。你可以无视它,收下报酬,低头,告诉自己你只是个做功能的工程师……但那就别把自己当成对人类的贡献者。你只是个想着自己的人类,仅此而已。

拒绝的人不是英雄,只是人,而好人拒绝做坏事。

评论

讨论围绕人工智能公司员工是否应因道德担忧辞职而分裂,多数人质疑文章的绝对道德二分法并怀疑当事工程师动机,少数人支持坚持信念不惜代价的立场。

认为应坚持道德信念并拒绝参与可能有害的工作

  • 有人以早年拒绝篡改财报为例,说明不愿为保工作做假而宁愿辞职;也有人指出若人工智能有百分之十概率毁灭人类就足以要求彻底打破公司;还有人呼吁诚实面对留职原因,好人应为他人牺牲自身利益(认可度:少数人) > 行动后果远超个人范畴,好人承认这点并为之抗争,如种下自己享不到凉的树(@stego-tech)

认为道德并非黑白分明且离职不是唯一正解

  • 生活多灰色地带,无客观好坏标准,员工可能认为人工智能亦能带来研究益处;文章预设了未必存在的道德困境;多数人非天生恶人只是陷入平庸之恶;将交税者类比显苛刻;潘多拉魔盒已开,辞职只会交权坏人(认可度:较多人) > 好坏相对个人经历与道德观,现实远比“好人拒绝坏事”复杂(@rochansinha)

怀疑辞职工程师动机与文章由人工智能代写的真实性

  • 指其访谈只抛模糊人工智能神论无具体论证像骗子;旧博客风格与如今反人工智能檄文迥异,疑文章由人工智能代写;认为离职是为转行当人工智能恐吓者谋利,或可能被反通用人工智能势力收买,本质上仍服务人工智能叙事(认可度:较多人) > 此人看起来和人工智能领袖一样妄想,更像是骗子会做的操作(@dgellow)

认为现实经济约束使个人道德抵抗有限

  • 财务安全是拒绝的前提;若所有做坏事者今日停工,世界经济收盘前即崩,因大公司已建监控机器;硅谷靠掩饰工作真实目的让人日复上班;资本主义游戏本就多被骗者(认可度:较多人) > 需要一定财务保障才能让人做出此类抵抗(@carterschonwald)

认为可从内部改变或中立看待人工智能发展

  • 长期影响难判,内部推动者也是好人;潘多拉魔盒已开,帮助想赢的派系更实际;若视双方科幻则无道德困境(认可度:少数人) > 若你觉得两派都在演科幻,现实更平凡却有益,那文章预设的道德难题根本不存在(@magimas)

有价值的补充

  • 递归自我改进通用智能本是好事,工具对齐导致手段趋同出偏差,回形针悖论即工具对齐失误(@atemerev)
  • 调查显示超半数科技工作者不荐新人入行却留任,而医学教授此比例或达百分百,说明行业抱怨普遍(@Aurornis)
  • 建议仿气候科学共识,征集人工智能博士对“人工智能灭世”集体看法的调查(@bzmrgonz)
  • 担忧“禁忌知识”引发对机器学习研究者的猎巫,教学应信学生明智用知(@skyberrys)