Hacker News 中文摘要

RSS订阅

我为何离开谷歌DeepMind -- Why I Left Google DeepMind

文章摘要

作者因谷歌支持移民执法供应链、与Jeff Dean沟通无果、五角大楼威胁Anthropic、AI伦理会议沉默等问题,试图阻止谷歌签署相关协议未果,最终选择离开DeepMind。

文章总结

好的,作为一名专业的中文编辑,我将根据您的要求,对原文进行中文重述,保留核心细节,并删减与主题无关的内容。


我为何离开谷歌DeepMind

2026年1月,美国国土安全部(DHS)官员至少造成两人死亡。我了解到谷歌向DHS下属机构出售云服务,认为这是错误的。我试图推动公司停止服务这些机构,但我的行动很快演变为阻止谷歌签署一项不道德的军事AI协议,因为五角大楼正施压AI公司接受“所有合法用途”的合同,这包括用于杀人机器人和大规模监控。

我希望AI伦理承诺能在压力下坚守。几个月里,我向许多人求助,包括资深且受人尊敬的AI伦理与安全专家,但几乎所有人都拒绝了。

例如,著名AI研究员斯图尔特·罗素(Stuart Russell)曾花十多年时间反对自主武器。在一次会议上,他同意推动其组织发表声明支持AI公司,并承诺进行成员投票,但这两件事最终都不了了之。

又如,谷歌首席科学家、Gemini项目联合负责人杰夫·迪恩(Jeff Dean)曾在2018年签署承诺,绝不支持开发或使用杀人机器人。我成功让他公开签署了一份支持Anthropic对抗五角大楼的“法庭之友”陈述书。但我也请求他利用巨大影响力阻止谷歌与军方达成不道德协议,我认为他并未这样做。他至今仍留在谷歌。

我撰写了一份25页的提案,包含合同条款和监督机制,并获得了军事和监控法律专家的好评。我将提案发给了DeepMind CEO戴密斯·哈萨比斯(Demis Hassabis),但他将其转给高级政策人员后,提案便石沉大海,直到谷歌签署协议。

高级管理层坚称谷歌不会签署协议,但他们基本无视了我的警告。尽管我的行动可能增加了五角大楼的犹豫,但谷歌最终还是签署了协议,将其AI用于“所有合法政府目的”,且没有禁止杀人机器人或大规模AI监控的约束性条款。其合同限制甚至比OpenAI的更弱。至此,我无法再心安理得地留在谷歌,于是选择了离开。

这篇文章讲述了我离开谷歌DeepMind的原因,也讲述了一个更大的故事:当压力来临时,强大的个人和机构是如何一个接一个地违背了他们的AI伦理承诺。

谷歌支持移民执法供应链

2026年1月26日,在亚历克斯·普雷蒂(Alex Pretti)死后,我决心采取有效行动。我研究了大型科技公司与DHS的纠葛,惊讶地发现谷歌也深陷其中。谷歌向ICE(移民和海关执法局)出售云服务,下架了警告ICE活动的应用程序,并在未通知的情况下将一名学生抗议者的账户数据交给了ICE。

我该如何行动?

典型的抗议行动是发起请愿,但谷歌已无视了相关请愿。我认为罢工、静坐甚至大量工程师辞职都无效。在AI行业,人才是“头重脚轻”的,团队由少数难以替代的明星驱动。也许我只需要协调10个关键人物。

这时我想起了杰夫·迪恩。他曾在推特上谴责ICE的行为,并引用安妮·弗兰克的话。他在谷歌被视为圣人,拥有巨大影响力。如果他离职,对公司将是灾难。但既然他如此关心且拥有如此大的影响力,为什么谷歌还在与ICE合作?

与杰夫·迪恩对话

我直接联系了杰夫,表达了对谷歌与DHS合作的担忧。他建议我直接给谷歌CEO桑达尔·皮查伊(Sundar Pichai)、哈萨比斯和谷歌云CEO托马斯·库里安(Thomas Kurian)发邮件。我照做了,但他们从未回复。我随后请求与杰夫共进午餐,他意外地答应了。

五角大楼试图胁迫Anthropic

2026年2月25日,五角大楼要求AI公司Anthropic从其现有合同中移除红线,即禁止将AI用于致命自主武器系统和AI监控/画像。五角大楼的威胁是,要么接受条款,要么被指定为“供应链风险”,从而迫使所有军事承包商停止使用Anthropic的产品。

我正参加一个由“国际安全与伦理AI协会”(IASEAI)在巴黎举办的会议。该协会由斯图尔特·罗素主持,似乎正是为应对此类事件而设。我期望能组织一场回应,支持Anthropic并推动建立实际标准。然而,当我到达会场时,除了我之外,几乎没有人讨论这个紧急的AI伦理新闻。

动员AI界权威人士

我试图动员与会的AI权威人士,包括斯图尔特·罗素、约书亚·本吉奥(Yoshua Bengio)和杰弗里·辛顿(Geoffrey Hinton)。本吉奥拒绝发表声明。罗素起初同意行动,并承诺在会议闭幕时组织IASEAI投票并发表声明。

在闭幕式上,罗素确实提到了此事,并承诺进行成员投票。现场几乎全体举手支持。他称五角大楼的行为是“敲诈勒索”。我为此支付了75美元会员费以参与投票。

国际AI伦理沉默协会

然而,第二天早上,我并未看到投票。IASEAI的执行董事马克·尼茨伯格(Mark Nitzberg)告诉我,他们需要更多时间,并给出了各种理由,包括需要起草声明、担心卷入新闻周期、以及Anthropic已发表声明所以IASEAI无需再行动等。最终,IASEAI的投票从未进行,也从未发表任何声明。我多次联系尼茨伯格,希望他能让罗素私下联系谷歌的决策者,但他再也没有回复我。

试图阻止谷歌签约

在巴黎期间,我同时在内部行动。我在谷歌DeepMind的内部讨论频道中呼吁公司“与Anthropic站在一起”,并指出“所有合法用途”可能包括战争罪行。我的帖子获得了超过125个“❤️”反应。

我起草了一份致杰夫·迪恩的请愿书,请求他“尽一切力量阻止任何跨越这些基本红线的协议”,并获得了约250名DeepMind/研究人员的签名。

杰夫·迪恩签署支持Anthropic的法庭之友陈述书

2026年3月9日,Anthropic在法庭上挑战五角大楼。我参与了一份由AI专业人士签署的“法庭之友”陈述书,并成功说服杰夫·迪恩也签署了。他作为高管公开打破了谷歌的沉默。据报道,他的签名加剧了五角大楼对谷歌的疑虑,担心谷歌未来可能再次退出。

高级管理层坚称谷歌不会屈服

整个三月,当我与高级管理层沟通时,他们一直辩称领导层不会签署“所有合法用途”的协议。我撰写了一份详尽的备忘录,引用历史案例,解释谷歌为何很可能屈服,但未能说服他们。

为与杰夫·迪恩的午餐做准备

我专注于我的目标:通过杰夫来影响桑达尔。杰夫曾签署2018年的承诺,誓言“绝不参与或支持……致命自主武器的开发或使用”。我推断,如果谷歌签署了不道德协议,杰夫逻辑上必须辞职。我希望他感到有支持,除了请愿书,我还获得了其他几位资深谷歌员工的私下支持,如果杰夫愿意向桑达尔施压,他们也会跟进。

我起草了一份25页的“框架”提案,包含具体的合同条款和监督机制,旨在为谷歌提供一份有原则的替代方案。该框架设定了两条标准:1)人类对目标选择和武力使用保持控制;2)禁止无针对性的AI画像。监督由一个向首席科学家汇报的七人“国防AI审查委员会”执行。

与杰夫的午餐

2026年3月17日,我与杰夫共进午餐。我向他提出了我的框架,但他并未接受领导审查委员会的想法。我无法透露午餐细节,但可以指出他后续的公开行为:他发了推文,签署了支持Anthropic的法庭之友陈述书,但谷歌后来还是签署了协议,而他仍留在谷歌。

寻找其他影响途径

我转而寻求戴密斯·哈萨比斯的帮助。DeepMind在2014年被收购时曾承诺AI绝不用于军事。我直接给哈萨比斯发了消息,他让我将框架交给两位高级政策人员评估。但他们将我的消息“已读不回”,最终框架从未得到评估。

谷歌悄然签署协议

2026年4月27日,据报道谷歌签署了协议。协议允许五角大楼将谷歌AI用于“任何合法政府目的”,并承诺应政府要求调整AI安全设置。协议中关于禁止大规模监控和自主武器的表述是“不应”用于,而非“不得”用于,因此不具约束力。谷歌从未在内部宣布此事。

哈萨比斯坚称谷歌的AI原则“没有改变”

在采访中,哈萨比斯表示谷歌的原则“没有改变”,核心是“权衡利弊,利益必须大大超过风险”。但这并非原则,而是事后决定。谷歌2018年的原则明确禁止武器和监控,但2025年2月,哈萨比斯共同撰文宣布更新原则,删除了这些禁令。他说“没有改变”与事实不符。

反思

谷歌DeepMind的治理实验失败了。当利润和压力与伦理承诺相遇时,压力获胜,承诺落空。教训是,社会不能依赖有道德动机的人坚守立场。

承诺签署者如何能留在谷歌?

杰夫·迪恩、哈萨比斯等人签署了反对杀人机器人的承诺,但谷歌签署了协议,他们却留了下来。我认为,留在公司并继续构建AI,看起来非常像“支持开发致命自主武器”。承诺签署者有三个诚实的选择:公开解释留下如何与承诺一致;明确表示不再坚持该承诺;或辞职。

伦理的重量

我对那些高谈伦理却几乎始终不作为的资深AI专业人士感到特别失望。我认为部分原因是害怕特朗普政府。斯图尔特·罗素曾数百次演讲反对杀人机器人,但面对真正的压力时,他沉默了。杰夫·迪恩是唯一公开行动的高管,但他本可以做得更多。

打破角色束缚

我只是一名研究科学家。但亚历克斯·普雷蒂的照片让我愤怒,这种愤怒驱使我寻找一个真正有效的计划。当谷歌签署协议后,我无法再继续工作。我离开了谷歌,目前处于失业状态。

附录:对存在风险的影响

我认为谷歌的协议对AI存在风险有影响。构建先进AI系统时,最佳实践是监控AI的“思维链”以检测欺骗。但谷歌将AI部署在隔离的军事数据中心,默认情况下不会有训练有素的监督者进行这种分析。如果AI的思维链未被监控,它更容易通过欺骗和谋划对人类造成灾难性伤害。

评论总结

根据评论内容,总结如下:

主要观点与论据:

  1. 对TurnTrout辞职的赞赏(多数评论支持)

    • 评论3:赞赏其坚持原则的行为,认为世界需要更多敢于为正确立场挺身而出的聪明人。"Nothing but respect to TurnTrout for taking an action like this. The world needs more smart people who are willing to stand for what they feel is right."
    • 评论11:对其坚守原则感到敬佩,自认缺乏这种勇气。"I am beyond impressed as to how he lives by his principles. I don't think I have this kind of courage or confidence."
  2. 对科技巨头伦理问题的批评(多数评论支持)

    • 评论1:认为谷歌等巨头早已放弃道德立场,联邦保护以合作为前提。"All of these FAANG businesses have already bent the knee in anticipation of this, xAI is just riding the coattails of the federal quid-pro-quo."
    • 评论13:指出谷歌本质不道德,参与加沙种族灭绝等行为。"Google's is a fundamentally unethical entity... complicity in the ongoing genocide in Gaza."
  3. 对AI军事化应用的争议(观点分歧)

    • 评论14:质疑为何反对智能武器,认为AI能更好区分平民与军事目标。"I would much rather have an onboard AI that can discriminate between unarmed civilians and military assets."
    • 评论15:认为民主已表态,战争不可避免时AI可确保精准打击。"If war is inevitable AI presumably would at least ensure you are on target."
    • 评论4:指出若以"误杀2名平民"为标准,几乎无法与任何国家合作。"If your threshold is killing 2 innocents... then you can't do business almost anywhere."
  4. 对AI安全从业者的质疑(部分支持)

    • 评论17:批评AI安全人员总是退缩,因看重高薪而违背承诺。"They always back down, because they value that fat paycheck... over their proclaimed ethical values."

平衡性总结: - 主流观点赞赏TurnTrout的勇气,批评谷歌等公司的伦理失范。 - 对AI军事化应用存在分歧:一方担忧伦理风险,另一方认为AI可提升精准度、减少误伤。 - 少数评论质疑辞职行为的实际效果,或认为问题根源在于系统性腐败而非个人选择。