2026年9月16日22点26分(EDT),SE Gyges发帖称要解释人工智能安全大多是性邪教,并称这些人不应该制定政策。多年来有人努力将人工智能安全讨论与政策同其起源和思想中心拉开距离,因为该中心是由同人小说作者发起的性邪教。帖文提到埃利泽·尤德科夫斯基(Eliezer Yudkowsky)曾会见伯尼·桑德斯(Bernie Sanders)就AI政策提供建议,并在奈飞(Netflix)的《AI纪录片》(The AI Doc)中争论政策。
正文
这是个我深知内情的重要话题,这就发个帖子解释一下「AI 安全很大程度上是个性爱邪教」。我觉得这帮人不该去制定政策。(另名:该搞点邪教理论了)多年来,人们一直极力把 AI 安全讨论和政策与其起源及思想中心切割,因为这个中心是由一位同人小说作者开创的性爱邪教。要想显得正经,你就得把这点藏起来。这位是 Eliezer Yudkowsky(简称 Yud)。下面这张图里,他正与伯尼·桑德斯会面,为其提供 AI 政策建议,还在如今网飞上线的《AI 纪元》里争辩 AI 政策。
这位是 OpenAI 高层员工兼非官方发言人 Roon。他对 Yud 的看法是:1)Yud 身处和/或运作着一个性爱邪教;2)Yud 关于 AI 的观点非常重要,应被严肃对待。
Yud 把 Shane Legg 和 Demis Hassabis 引荐给 Peter Thiel,让他们拿到资金创办了 DeepMind(现为谷歌的 AI 研究部门)。下面是山姆·奥特曼对 Yud 的看法。
这是 2015 年 1 月未来生命研究所在波多黎各举办的 AI 会议日程。当年 12 月,埃隆·马斯克就创立了 OpenAI。Yudkowsky 声称会议上的某些事导致了 OpenAI 的创立,并对此不满,但这说法似乎不太可能。
2013 年,现任 Anthropic CEO 的 Dario Amodei 在 Yud 的非营利组织博客上被标识为「有效利他主义社群成员」。他就「回形针最大化器」与 Yud 争论。
Anthropic 的论文仍偶尔引用 Yud,而我们谈论 AI 的整套用语都用了他非营利组织推广的词。「AI 对齐」就是由 Yudkowsky 的非营利组织推广开的,那是首个持续使用这一确切措辞的地方。
若不隐晦提及 Yud 的想法或 rat/ea 圈子,几乎无法讨论 AI。最近离开 Anthropic 并自封为吹哨人的 Coxon,截图如下。
下面这张图是 2023 年《时代》杂志上的 Eliezer Yudkowsky,他主张为了自己热衷的课题甘冒核战争风险。
那个试图用燃烧弹炸山姆·奥特曼房子的人,把 Yudkowsky 列为首要灵感来源。我手头某处还有他谈论此事的录音,但说实在的,除了他还有谁会笨手笨脚地去炸奥特曼的房子?我保证会回到「性爱邪教」部分,其实那最好解释,因为他们不停地发相关动态。难的是冲破那道精心构筑、复杂且资金雄厚的信息封锁墙,不让人看出这才是重头戏。不过下面这张图不全是玩笑。
Yudkowsky 的追随者如今自称「理性社群」,外界叫他们「理性主义者」,其信仰叫「理性主义」。显然他们认为这听起来不那么像邪教。那篇超长的「我们不是宗教」解释要么好笑要么冒犯。
先把这个交代清楚:开启千个邪教的同人小说是《哈利·波特与理性方法》。它或许是影响最大的单一现代宗教文本,其影响力可能还没到顶峰。
据称,「有效利他主义」是另一回事,不听 Yud 调遣。这基本是胡扯。其理念和人物高度重叠,尤其在旧金山。还有人说 Anthropic 不是有效利他主义公司,这百分之百是胡扯。伯尼和 Yud 那视频里还有谁?Jeffrey Ladish(Palisade Research 资助)和 Daniel Kokotajlo(AI 2027 作者,Survival and Flourishing Fund 资助)。都是「有效利他主义者」而非「理性主义者」,但他们一起搅和进去了。两者若有区分,「理性主义」是 Yud 队,「有效利他主义」目前是 Dario 队,他们在同一领域争抢注意力和资金,做法极其滑稽。
Yud 传播最广、感染最多人的想法是:若继续发展 AI,它必将 1)实现超级智能(RSI),2)逃脱人类控制,3)杀光所有人(「回形针化」、「毁灭」)。所有关于 AI 安全和 AI 对齐的争论,主要都是在他设定的框架下缓解这一幕,大幅修改框架的很少见。广义亚文化圈里,「安全」和「对齐」暗含的就是这个意思。
那些自认有效利他主义者而非理性主义者、却深度关切「AI 安全」的人,通常或明或暗地担忧 Yudkowsky 关于失控和毁灭的基本框架。这观念最容易传染,因为它激活了每个末日论或千禧年邪教都有的神经质:世界要完蛋了,只有我和我这个小众知情团体或许能阻止。而且你得给我钱、和我上床。你随便怎么反驳都基本没用,多数人信这个不是因为理性或经验,你一不注意他们又抱怨末日去了。现实中他们主要聚在加州伯克利的各种公社里,称之为「群居屋」好听点。细节和「伯克利公社」预期一致:人人多边恋,参加同一活动,住群居屋,供奉同几个作者,极度担忧 AI 灭世。他们一起唱反调,很多在 AI 公司和非营利组织工作,安全、红队、对齐团队尤甚,因为他们就是干这个的。
这整套的皇冠明珠是 Lighthaven。它是伯克利原 Rose Garden Inn,2022 年底由一个理性主义慈善机构用 SBF 的钱买下——这些钱是 FTX 崩盘前被挪用给他们的。能从崩盘中的 FTX 把钱电汇给理性主义慈善机构的不过五人,其中之一是 Leopold Aschenbrenner。Leopold 娶了其中另一人,那人是 Anthropic 的幕僚长。Leopold 据称是有效利他主义者而非理性主义者,但你看这关系多难理清。你哪年是哪个不是哪个?你组织当时在财务上直接受 Yudkowsky 辖制吗?Lighthaven 办了 Scott Alexander 的 Astral Codex Ten 读书会、理性主义旧约《The Sequences》读书会、叫 The Curve 的 AI 会议、EA 会议 EAGxBerkeley、MATS(机器学习对齐学者项目),还有 Aella 组织的 SlutCon。
下面图中的 Gretta 是 Yud 的主要伴侣,作为助手从 Yud 非营利组织拿约 20 万薪水,同时还在 Lighthaven 办这活动。她此前毫无资质胜任该组织任何职位。
但愿 SlutCon 没发生非法性交易,Yud 伴侣作为组织者也只是有趣 quirky。我也不确定 Gretta 组织的那些付费 orgy 是否在 Lighthaven 办过。我只注意到 Lighthaven 似乎极缺钱。其设施经理 Ronny Hernandez 同时兼职 Aella 的经纪人,不清楚这只是「处理她有趣数据科学项目的人」还是也包括「皮条客」,但很可能也是皮条客。下面这是 Aella 做的桑基图。她有强奸癖,图里某个男的可能是 Yudkowsky。Aella 在推特上极度积极地广告并招募她那香艳生活方式和活动。
纽约邮报抢先报道了 Nate Soares 的事。EA/理性主义者对上述故事的推特反应嘛……呃,就是些反应。
我提前堵住那些说我「厌性」的人的嘴:1)他们大多边干这事儿边在同个末日非营利组织共事;2)他们通过字面意义上的哈利波特同人小说招募年轻理想主义者。理性主义整体是宗教运动,不是人人听令,但核心那些基本同居、参加活动尤其 orgy 的是性爱邪教,没上床的属于更广泛运动,是招募漏斗。只要几个深度担忧 AI 灭世的人聚一起,其天然组织形态就像邪教;理性主义整体不像单一邪教,而是邪教工厂。有些邪教下场极惨,比如 Zizians。
总有理性脑回路的人读这会说我是个「低解耦者」,说他们搞性爱邪教和他们是否正确无关。这话算对;但性爱邪教足以证明他们的影响广非因正确,且即便证据相反,他们也有私利继续鼓吹世界末日。若你有个用盗款白送的性爱邪教和舒适大院,只因你把末日福音讲得好,你怎么停得下来?若详述末日预言能换钱——确实能——你就会越多讲。这最近在周末汇成一幕:他们让 Dario Amodei、Sam Altman、Elon Musk、Demis Hassabis 达成一致,说想豁免反垄断法以便「定速」或放缓研究。我对此的感觉如同药企联合要求豁免反垄断法搞卡特尔禁止医学研究:这些人乃人类之敌。而且很多 AI 研究就是医学研究,他们简直是要直接阻止相当大块医学研究,好让自己不惧回形针化。我赞成许多监管,但他们只想搞卡特尔或世界政府对抗回形针化。没别的行业把监管说成「停止」「暂停」「放缓」,那对政策而言荒唐。政策该防坏果促好果,从不在速度。这行业这么框定监管,只因其核心是个千禧年末日邪教,崇拜且恐惧 AI 为灭世因,既被迫造 AI 又有点想毁了 AI 领域。AI 政策只从这角度考量,全因 Yudkowsky 巨大的思想影响,且在他下游,对 AI 灭世的神经质或宗教式执念成了人们接触这些概念的主要方式。
评论
讨论整体对原文「AI 安全圈本质是一个邪教」的论断高度怀疑,分歧主轴在于:多数人认为把非传统性关系加工成邪教叙事是情绪化的道德恐慌,少数人则借机把矛头转向 EA/理性主义圈更实在的劣迹——诈骗、挪用资金、权力滥用;赞同原文的只是零散声音。
认为「邪教」这顶帽子扣得太随意
- 「邪教」从宗教一路可以指到「我不喜欢的怪宗教」,再指到真正切断成员与外界联系的控制型组织,只有最后一类才谈得上有害,多角恋和公开谈性癖根本不在此列(较多人) > 意译(@amanaplanacanal)
认为文章是情绪宣泄而非论证
- 原文没给出可靠依据,九成内容来自作者对他人公开非传统性生活的不适,剩下那一成是撒点邪教暗示,好给自己的轻蔑找理由(较多人) > 意译(@thevinter)
认为开放的性关系不等于邪教
- 一群因共同兴趣定期碰面、彼此看对眼并发生关系,这在任何小圈子里都算平常;作者也没说清为什么偏偏是这批人不该参与政策制定(较多人) > 意译(@roenxi)
认为真正该被追究的是钱和谎言
- 比起性,更值得强调的是一批多角恋的高层欺诈者、那位 guru 在英国的来路不明豪宅,以及不断靠撒谎维持估值和融资流的公司;好在有公司放出开放权重模型,至少给他们带来竞争(少数人) > 意译(@TacticalCoder)
认为理性主义是「新无神论」的续集
- 新无神论当年就想照自己的样子重造一门宗教,如今这套东西落成由科幻、流行哲学和医生讲的小寓言拼装的末日论,圈内熟人的自恋与卖弄也早有端倪(少数人) > 意译(@mjburgess)
认为该读论证而不是读人
- 不必借助「主张者性生活多寡」这类有损的代理指标,直接去读他们的论证就行(少数人) > 意译(@bananaflag)
认为性道德恐慌本身才是问题
- 宁可待在被叫做性邪教的地方,也不愿待在这个还在为性搞道德恐慌的文化里;「想想孩子」式的思维阻断早该被跨过去(少数人) > 意译(@wvbdmp)
有价值的补充
- 最荒诞的一处细节:某人一边相信超级智能会毁灭人类,一边急着跟素食主义划清界限——而素食恰好提供了最直白的类比:更聪明的生物为微不足道的收益折磨并屠杀大量其他生物。
- 把尼采、叔本华论女性的段落放回他们的个人创伤背景,不等于整部作品作废,但足以提醒人别把公共人物的输出当成孤立的事实。
- 一份加州系邪教对照清单被顺手列出:曼森家族、天堂之门、NXIVM、理性主义者、Zizians——共同点是都想重塑一套自己的范式,再被自负和权力扭曲。
- 玩笑向社区情绪:如果那位以呼吁 AI 审慎著称的人都能办起性邪教,那加速派那边到底在玩什么,简直不敢想。