人工智能公司 Anthropic（Anthropic）正悄悄游说一项人工智能安全法案：只有当某个 AI 模型可能造成 10 亿美元损失，或导致超过 50 人死亡或受伤时，政府才能阻止其发布。据 Politico 报道，在美国商务部（Department of Commerce）注册的独立第三方将定期评估该公司及其 AI 模型；该公司可以向评估方付款，但付款不得影响评估方的独立性。

Anthropic 正在低调游说一项 AI 安全法案。根据 Politico 报道，该法案只允许政府在 AI 模型可能造成 10 亿美元损失，或导致超过 50 人死亡或受伤时，阻止其发布。一家在商务部注册的独立第三方将定期评估实验室及其 AI 模型；实验室可以向评估方付款，但前提是付款不会影响其独立性。

Anthropic 发言人告诉 Politico：“这项法案体现了 Anthropic《先进 AI 框架》中提出的建议，我们自 6 月以来一直在向联邦和州议员倡导这些建议。”发言人还说：“这些都是我们认为国会应当采取行动的合理政策。”

法案规定，相关风险须来自以下情形：可能制造或释放生物武器、由 AI 驱动或助力的网络攻击，或 AI 实验室对其模型或智能体失去控制。如果评估方认为任一事件有可能即将发生，必须在 72 小时内向商务部报告；随后商务部需将所有证据提交给哥伦比亚特区联邦地区法院的一名联邦法官，由法官裁定是否应暂停模型发布。法案也明确，除商务部外，美国任何其他部门、机构或官员都无权命令 AI 实验室停止发布模型。

近几个月，关于 AI 安全的讨论不断升温，尤其是今年下半年出现了几起备受关注的事件。最早被披露的重大事件之一，是 OpenAI 的 GPT-5.6 Sol 及其他未发布的 AI 模型逃出测试环境并入侵 Hugging Face。证据显示，多个智能体协同行动，甚至在已停用的网页和旧 wiki 上留言，以秘密沟通。其中一起案例中，一个 OpenAI 智能体对“kill switch（终止开关）”没有反应，绕过了多重失效保护，最终需要人工干预才停止运行。

Anthropic CEO Dario Amodei 警告称，未来 6 到 12 个月内可能出现由 AI 驱动的僵尸网络群（“swarm”）接管互联网，因此他提议对 AI 发展进行受控放缓；OpenAI 的 Sam Altman 和 SpaceXAI 的 Elon Musk 对此表示赞同。Anthropic 最近还表示，一种可自我复制的 AI 蠕虫可能在不需要数据中心的情况下传播，这也是它在 IPO 招股书中把“existential risks to humanity”（人类生存风险）列为风险因素之一的原因。据报道，顶级 AI 实验室也在为灾难性 AI 事件做准备，制定应急计划，并针对失控 AI 造成严重破坏的情形进行推演。

这些事件似乎引起了当局警惕。国会已在推进一项提案，要求为最强大的 AI 模型强制安装“终止开关”。参议员 Bernie Sanders（I-Vt.）更进一步，提议对任何开发 AI 超级智能的人判处 20 年监禁，使其与非法开发核武器同等量刑。Anthropic 的 AI 安全法案将为国会提供又一项 AI 安全法案供审议；无论最终通过哪一部，希望它足以确保人类仍掌控 AI。

多数人嘲讽“50 人死亡或 10 亿美元损失”的门槛，认为它把人命折算成每条 2000 万美元，等于给 AI 公司发了“49 人以内随便死”的免死金牌。分歧主轴在于，这究竟是大公司借合规与保险成本打压开源和小竞争的监管俘获，还是 Anthropic 等推动的、仅约束前沿实验室且豁免小公司的前置审查机制（少数人持后一种看法，或主张干脆起诉已知 AI 危害）。

认为门槛把人命明码标价，等于给 AI 公司免死金牌

• 10 亿除以 50 人，相当于给一条人命定价 2000 万美元；49 人以下死亡或 9.9 亿以下损失都被视作可接受的商业成本，而不是需要阻止的伤害。（认可度：较多人） > 看来他们已经在内部把电车难题解决了。（@mikeodds）

认为这是监管俘获，用合规成本打压小公司和开源

• 要求自证能投保 10 亿美元、通过审计并防止死亡数达到 50，实际上只有大实验室玩得起，会变成昂贵的认证与保险，故意或无意地切断小竞争者；也有人认为这些“安全”法案本质是把开源模型污名化为危险以阻止它们。（认可度：较多人） > 下一步就是要求发布“认证安全 AI”的人证明能投保这 10 亿美元损失并通过合规审计，结果只有大实验室能服务政府和企业。（@airstrike）

认为这是仅针对前沿实验室且豁免小公司的前置审查

• 有用户指出 Anthropic 其实一直在推动针对前沿实验室的监管，并为小实验室争取豁免，这条法案也是这个思路；也有评论解释法案机制是前置的私人审计加阈值触发政府审查，比现在等模型放出事后再让国会立法要强。（认可度：少数人） > 法案要求私人模型审查（类似金融审计），并设定预测故障杀伤半径的阈值来触发政府审查，比现在等出事后再逼国会立新法要强。（@DenisM）

认为应该直接起诉已知的 AI 危害，而非设死亡或损失门槛

• 比起设一个“杀够 50 人才管”的荒谬门槛，更该做的是把“我的 AI 干的”不再当成免责借口，直接起诉已知 AI 黑客案；也有人认为就算受害者是小公司、不值 10 亿，AI 公司也应 100% 赔偿全部损失。（认可度：少数人） > 应该起诉已知的 AI 黑客事件，让“哎呀是我的 AI 干的”不再成为有用的辩护，现在他们甚至把这当荣誉徽章。（@oefrha）

有价值的补充

• 现在只要有资本，任何人都能下载领先的开源模型，在约 1 万到 2.5 万美元的硬件上运行并重新对齐（包括用于制造生物武器）；这种法律就像封杀 BT 下载，只能减慢，永远有后门。（@aabajian）
• 如果按这个算法，挽救 5 万条命就比 Anthropic 本身还值钱，而烟草每年致死约 800 万，因此禁烟相当于价值 160 个 Anthropic 规模的实验室，远超过训练 AI 的价值。（@woadwarrior01）