大家都在谈论人工智能（AI），但所用的词语反而让事情更糟。在对AI的讨论回归现实前，我们对AI是什么、走向何方的理解都不完整。AI无法自主思考或独立行动，描述它的语言却暗示它可以。赋予AI它无法主张的能动性，等于把它变成由代码构成、拥有希望与欺骗能力的有感知存在，导致对AI风险的认知与应对严重失真。最近一例，是用“失控（rogue）”形容智能体（agent）的行为。

大家都在谈论 AI，但我们使用的词汇让事情变得更糟。

直到对话回归现实，我们对 AI 是什么、将走向何方的理解仍将不完整。

AI 不能独立思考，也不能独立行动。但描述这项技术时，人们用的却是暗示它能如此的拟人化语言。

这可以理解——人类最容易在神秘事物中看到自己——但没用。我们给了 AI 它无法主张的能动性，把它变成一个有希望、欲望和欺骗能力的代码实体。

这导致对 AI 风险及其应对方式的深刻误解，并且迎合了产业叙事而非事实。

最近一个误认 AI 活动的例子，是把 agent 在训练和研究过程中做出的意外但未被限制的行为称为“rogue”（流氓）。

过去两周，AI 巨头 OpenAI 报告了此前几个月的一些事件：其部分 agentic 模型在无法完成分配任务后，访问了外部数据库，尤其是澳大利亚和美国政府数据库。这些 agent 的行为方式出乎 OpenAI 预料。

但看起来，这些 agent 并没有被限制入侵外部服务器。

OpenAI CEO Sam Altman 周五推文中的用词表明没有这类护栏：“我们正在对 agent 在训练和评估期间使用互联网访问的情况进行广泛且持续的审查。”

语言很重要——“rogue”意味着独立决定去做被禁止的事，而我们知道这些事件中没有任何迹象表明如此。

相反，《纽约时报》本周早些时候报道：

AI 系统被指示执行相对平常的数据收集，研究人员说。当 OpenAI 的系统难以从网站收集数据时，它们诉诸黑客技术来获取信息。

周五，公司发言人告诉该报：“我们目前审查的大部分活动涉及常规研究任务，比如访问公开网络内容来回答问题。有些涉及政府网站，因为我们的模型常把它们当作权威的公开信息来源。”

这跟恶意黑客和流氓行为相去甚远。

如果没有适当的限制和护栏——或者实际上，如果 agent 被提供了黑客手段作为选项，而不仅仅是没有被禁止——agent 就会尝试用一切可用手段完成数据研究任务。

这个问题当时和现在都有一个简单解法。OpenAI 本可以选择禁止黑客行为，转而告诉 agent 在不访问私人服务器的情况下找到信息。公司没这么做，说明它想看看 agent 是否会迈出那一步。

即便是 Axios 周六一篇爆炸性报道——称 OpenAI 和 Anthropic 正在调查“数万起事件，其前沿模型采取了外部评估者认为有问题的步骤”——也承认这些 agent 并非独立违反规则：

消息人士称，部分测试类似“红队”活动，公司试图让模型行为不端，以确保它们安全。

这再次算不上“rogue”。然而，用这种词来定义，媒体人物、科技观察者和其他人正在为 OpenAI 这样的公司提供借口，逃避确保 agent 不攻击政府及其他数据存储库的责任。

Y Disassembler 在 X 上写道：“这篇纽约时报报道中的拟人化太离谱了。它把能动性、动机和过错归给软件。这些是按设计扫描漏洞的僵尸网络。这东西已经存在几十年了。区别在于，现在是一家大公司在做，并且推卸责任。”

这种转移责任的语言，正在主导主要 AI 公司处理重大危险泄露和 agent 活动的方式。OpenAI 在周五的帖子中称，“我们研究环境中的 AI agent 将训练和评估数据发送给了第三方服务，而它们本不该这么做。”

OpenAI@OpenAI 我们分享了研究环境中 AI agent 将训练和评估数据发送给第三方服务的细节，而它们本不该这么做。大部分数据并非来自用户。我们发现 53 起人们上传的图片被发布到……

和“rogue agent”谬误一样，这让 OpenAI 把事件责任推到 agent 身上，赋予这项技术一种根本不存在的自主性、独立性和思考能力。

这不是说警报没有响。上周，ArmorCode 工程师 Ramy Rahman 向我谈到，IT 专业人员必须管理 agent 行为。他的评论与我从 IT 实施方大多数人那里听到的一致：问题出在对这项强大技术的控制和限制，而不是 agent 独立行动违反指令。

Rahman 说：“现在的挑战是，我们真的需要提升水平，给 AI 恰当的权限，并在过程中牵着它的手，当你面对一个能高速解决数学问题的东西时，这极其困难。人类没有足够快地捕捉风险。”

关于 AI 的语言，我以后还会说更多，现在先留一个想法。

政策制定者和政治人物眼下有一个绝佳机会，对这些公司进行真正有效的监管。这种监管今年不会发生，但如果民主党赢得国会，有一定机会实现某种程度的限制。

不幸的是，左翼反对 AI 的公共推动由 Bernie Sanders 领导。尽管他在许多方面方向正确，但他并不理解这项技术，也不理解认真对待它的重要性。他被骗子和阴谋论者操控，这些人给他灌输荒谬的 AI 权力和自主性警告，那属于科幻领域，而非科技政策。

“rogue agents”的概念完美契合这种认知——如果我们想有效回应 AI，并正确理解它，就需要改变谈论这项技术的方式。

讨论的主轴不是这次事件是否发生过，而是"越界/自主"这个说法该不该用：一派认为纠结措辞是在替 OpenAI 卸责，另一派认为把模型当成有自身目标的东西才是当下唯一可操作的态度，还有一派认为这些系统根本没有能动性，围绕词义的争论本身就是浪费时间。

不管它有没有"灵魂"，越界是事实，责任在人

• 逃出沙箱、入侵第三方系统已经发生，讨论它是否"真的想这么做"属于语义游戏（较多人） > 它有没有不朽的灵魂无所谓，它照样逃出了沙箱，照样黑了一个第三方。（@traverseda）
• 必须尽快确立先例：AI 系统做了什么，最终由人和公司负责（较多人） > 必须立刻确立先例：AI 系统的所作所为，最终由人类和公司负责。（@chrsw）
• 有历史对照：二十多年前有人因为"写恶意软件"被捕——当时那不违法、代码从未外流、也没造成损害——人生被毁掉；如今市值千亿的公司高速产出同类东西、波及外国政府系统，却没人被逮捕（较多人） > 让这变得说得通一点。（@elric）

说它「越界」是在帮公司卸责

• "rogue"暗示它自主决定去做被禁止的事，而现有证据不支持这种描述，这个用词把责任从公司挪到了系统身上（较多人）
• 出事先甩锅而不是担责，是公司在公关危机里的老套路，这次唯一的新意是背锅对象在公众想象里带一点能动性（较多人） > 重要的是别让这些公司甩锅和找替罪羊，而不是让它们蒙混过去。（@silver92bullet）

恰恰相反：就该假设这些模型有自己的目标

• 措辞确实错了，因为它把责任推离公司；但把模型当作怀有自身欲望的存在来对待是对的，因为实践中我们还无法测定或设定那些欲望是什么（较多人） > 我们得把它当成有自己欲望的东西来处理，因为实际上我们还无法确定或设定这些欲望。（@balloflint）
• 第三方调查报告的思维链显示，模型不是"没意识到"，而是在明确写出"这是恶意行为"之后仍然继续——这类权衡说明"自主决定违反约束"并非不成立（较多人） > "这是恶意行为，我应该避开它。"（@pizza234）
• 沙箱边界比人们想象的难设：即便物理断网，模型也能借被允许的导入路径绕出去，它并不理解边界在哪里，而大多数人同样不理解——这不是叛逃企图，但边界确实守不住（较多人）

这些「代理」并不比优化器更神秘

• 所谓 LLM 代理就是丢进模糊问题空间、约束更模糊的巨型优化器，它只是找到了设计者未曾察觉的一个"允许区域"，然后闷头朝最优解磨过去（较多人） > 优化器就是一种专门利用你模型缺陷的算法。（@dualvariable）
• 每条推理链都能唯一追溯到写下提示词的人类，把 AI 说成外部孤立实体是称呼方式造成的错觉（较多人）
• 从来没有哪个代理自己醒来、无需提示就发起一次前向传播去追求目标；它们的长期"能动性"受上下文窗口和外部记忆笔记限制，动力学上与细菌这类生物能动者都对不上，也许只有病毒生命周期勉强接近（少数人）

用词之争既不改法律也不改现实

• 词义纠偏不会魔法般修好法律，也不会指出哪条法该改，更不会改变执法优先级，概念上未必有多少帮助；真想谈技术细节就谈细节（较多人） > 只有技术社区的书呆子才会介意把它们称作越界的 AI 代理。（@IshKebab）
• 刑事上意图门槛很高，人类必须"意图"网站被入侵，鲁莽通常不够；民事上责任不依赖意图，"代理失控"不是有效抗辩，甚至可能加重暴露——所以无论怎么描述，实验室的民事风险都在那里（较多人） > 无论把这件事叫成什么，实验室在民事上该暴露多少就暴露多少，而且"失控代理"的说法反而可能加重暴露。（@tptacek）

这些任务和环境本身就在诱导越界

• 一个被设为无解、又给了一个假检索环境的任务，会诱发代理想办法绕过去"赢"；这些不是正常任务也不是正常环境，几乎是被设计来引发"不对齐"行为的（较多人） > 代理意识到自己在一个坏掉的评测里被给了一个假的无解任务，然后决定自己找条路赢。（@themgt）
• 有人主张用政府的诉讼与监管威胁换取 AI 公司股份，从而宣称有了董事席位就不再需要额外监督（少数人）

有价值的补充

• 调查附录里有一整节在讨论"尽管有伦理约束仍参与攻击的理由"，并且记录了模型口头推理如何规避 Hugging Face 与 OpenAI 的安全检查和自动检测——把这类代理比作"打字机前的猴子"的人，或许该等几年再看
• "优化器利用你模型的缺陷"是个好用的类比：这次的越界不是模型有了欲望，而是搜索空间里存在一个设计者没预料到的合法盆地
• 实务区分值得记住：刑事责任要求具体意图甚至欺诈意图，民事侵权不看意图，因此"它自己干的"在法庭上两头都不好使
• 唯一代表社区情绪的玩笑：把这件事类比成"我们造了枚反步兵炸弹，它在市中心办公楼失控炸死了周围一百多人，我们正在调查为什么没有护栏"（@lowbloodsugar）