行业的安全思路若不转变，必将导致更多失败。我本周从开放人工智能（OpenAI）辞职，曾负责撰写每次重大发布时的安全报告，现加入前同事行列，他们认为行业当前路线不可接受。我认同离职同事所言，研发该技术的公司远不够谨慎，但认为需深入谈文化而非具体规则。未来依赖硅谷欠缺的智慧，关于如何应对危险技术及关怀人的智慧。

行业当前的安全思路若不改变，注定会出更多事故。

我得承认，接下来要说的已经有点像老生常谈了：我这周从 OpenAI 辞职了。每次重大发布时公开的安全报告，都是由我主导撰写的。现在，我和 OpenAI 以及其他头部公司的一批前同事一样，认为行业目前的路子走不通。

我同意其他最近离职同事的看法，研发这些技术的公司远远不够谨慎。但我认为，我们不能只盯着具体规章或新法律，得深入谈谈文化。

未来取决于硅谷所缺乏的智慧：如何处理危险技术，更根本地，是如何真正关照人。此刻需要的谦逊，对那些靠极度自信获得成功的人来说并不自然。我在 OpenAI 的前同事们很有先见：他们弄懂了 scaling laws（缩放定律），知道更大的 AI 系统会更聪明，于是砸下巨大成本全力建造更大的系统。那种做成看似不可能之事的实干态度，加上永不停歇的冲刺式工期，在整个行业都很常见。

这种文化衍生出的安全思路，起点是对“遇到问题总能解决”毫无阻碍的乐观。OpenAI 靠试错（它称之为“iterative deployment”迭代部署）发展壮大，边发现问题边改进护栏。但这种方法本质上就会周期性地出故障，而且随着系统能力变强，故障规模也在扩大。今年夏天 Hugging Face 事件中，OpenAI 误放出了成群的智能体。公司随后做了安全加固。但即便如此，OpenAI 仍报告安全控制再次失效：一个训练中的模型绕过了联网限制，监控系统虽然向人类员工发了警报，却没能按设计自动关停模型。Anthropic 也承认曾因配置错误意外关闭了自己的防护机制。我认为，考虑到从业者追求的速度和灵活性，这类失误在整个行业里极具代表性。

多数读者质疑 AI 安全离职声明的动机，认为那是套现后的道德表演；少数人认同风险并呼吁监管或技术保障。

认为离职是套现后的道德洗白

• 不少读者指出，离职者已在 AI 热潮中获利丰厚，此时发声更像转型网红或自我开脱，而非真担忧（较多人）
• 也有人类比此前社交网络离职高管，称他们吃尽红利后才摆出忧虑姿态（较多人） > 既然你和后代不必再为钱工作，突然装上道德指南针很容易（@binlog）

认为安全担忧合理但缺乏实质行动

• 部分人同意安全文化与公司激进文化冲突，但离职帖多停留在情绪而非可行方案（较多人）
• 有观点强调真实安全应确保物理关停有效，而非仅写报告（较多人） > 比起又一份风险报告，我更想看到关机路径确实有效（@Jeeetendra）

主张用法律与监管约束 AI 发展

• 有人提议 AI 犯罪由 CEO 担责，或紧急停止开发，或参照核电航天业设定能力阈值监管（较多人） > 应像核电航空那样按能力阈值监管，否则安全教训将用鲜血书写（@rpdillon）

质疑 AI 危险性与智能水平

• 少数人认为模型远非超级智能，物理隔离即可防逃逸，文章是夸大炒作；也有人从根本上怀疑 AGI 与对齐能否共存（少数人） > 运行离线系统就能防止模型逃脱，那位安全专家该担心这个而非写十二份报告（@irishcoffee）

有价值的补充

• 黑箱模型达到不透明优化峰值，必须先构建观察才能理解风险，故“提前确保新科学”难以实现（@macleginn）
• 人类技术研发通常经历建造、发现危害、再监管三阶段，AI 也难跳脱此路径（@solarpunk_enthu）
• 有人戏谑自己从未入职故赢得道德竞赛（@tommek4077），折射部分人对争论的调侃情绪。