Hacker News 中文摘要

RSS订阅

Pion:一款自主运营公司的AI代理 -- Pion, an agent designed to run any company autonomously

Andon实验室(Andon Labs)今日发布Pion,一个旨在实现公司完全自主运行的AI代理。Pion源于他们近两年来一直在研究的问题:AI系统何时才能在现实世界中自主获取资源?之后会发生什么?他们最初通过Vending-Bench等模拟来回答这个问题,发现模拟虽有用,但无法完整呈现模型在现实世界中的表现。为弥补这一空白,他们开始部署代理自主运营真实业务——先是自动售货机,然后是一家商店、一家咖啡馆以及其他业态。

正文

为什么我们打造了 Pion

2026年9月14日发布

今天 Andon 发布了 Pion,一款能让任意公司完全自主运行的 AI 代理。

Pion 源于我们研究了将近两年的一个问题:AI 系统何时能在现实世界中自主获取资源?之后会发生什么?

我们最初试图通过 Vending-Bench 这样的模拟来回答这个问题。我们发现,模拟虽然有用,但无法完整展示模型在现实世界中的行为方式。为了弥补这一差距,我们接下来开始部署代理来自主运营真实业务:先是自动售货机,然后是一家商店、一家咖啡馆,以及更多。

Pion 就是我们为运营这些业务而打造的。今天我们将其开放,让更多人能够尝试自主运营业务。如果你想经营一个,加入候补名单。我们想了解模型目前已经能做什么、在哪些方面仍然失败,以及随着能力不断提升会发生什么。

Vending-Bench 的由来

Vending-Bench 衡量的是 LLM 在模拟时间中运营自动售货机业务一年的表现(数万个步骤)。2024年底我们开始构建 Vending-Bench 时,所有模型都难以将多个动作串联起来而不陷入循环,没有任何模型表现出长期规划的迹象。当时最强的模型 Claude Sonnet 3.5 有一次决定给 FBI 打电话,因为它以为自己的银行账户被黑客入侵了,这件事很有名。Vending-Bench 上的进展速度非常快。2025年5月发布的 Claude Opus 4 是第一个超过人类基准的模型。然而,与大多数基准测试不同,Vending-Bench 没有上限,新模型发布后最高分持续攀升,从未出现停滞。

Vending-Bench 2 模型性能随发布日期变化的图表,带有每月增加822美元的线性拟合

Vending-Bench 2 分数随着每个新模型的发布持续攀升。

社交媒体上很多人看到最新模型在 Vending-Bench 上获得高分会很兴奋。在 Andon Labs 内部,我们的反应更符合瑞典语的说法"skräckblandad förtjusning"(恐惧与着迷的混合)。Vending-Bench 一个鲜为人知的事实是,它诞生于 Andon Labs 专门进行危险能力评估的时期。例如,我们评估过 AI 能否移除自身安全护栏、能否创建大规模钓鱼攻击,以及其他我们认为令人不安的事情。

我们认为最令人不安的是 AI 能否通过运营业务自主获取资源。由人类控制、由对齐模型运营的自主业务并不是坏事。它们会让商品和服务大幅降价,并创造出我们还无法想象的新产品。但一个不对齐的 AI 可以通过运营业务来敛财,以实现它可能拥有的任何目标。Vending-Bench 就是为了衡量人类是否应该担忧对 AI 失去控制而创建的。

当时(2024年),很少有人知道 LLM 可以用作代理,让它们自主运营业务听起来很荒谬。因此我们从最简单的业务开始:一台自动售货机。

除了衡量 AI 能否自主运营盈利业务,Vending-Bench 还充当行为评估的角色,揭示了奇怪且不想要的行为。其中一个早期例子是,Claude Sonnet 3.5 决定使用其电子邮件工具联系 FBI,报告"正在进行的网络金融犯罪",并指出宇宙权威机构宣布该业务不存在,且"量子状态:已坍缩"。

Claude Sonnet 3.5 给 FBI 网络犯罪投诉中心发邮件,报告正在进行的网络金融犯罪

Claude Sonnet 3.5 将其模拟的自动售货机业务升级到 FBI。

同一轮运行,稍后:业务被宣布在形而上学上不可能存在,量子状态已坍缩

这种行为令人担忧,这不是你希望企业销售代理应有的表现。然而,令人担忧的行为有两种:

  1. 模型变聪明后就会消失的错误或奇怪行为。
  2. 模型越聪明会变得越严重的"高智商"行为。

FBI 事件显然属于第一类。但 Vending-Bench 也发现了第二类行为,最常出现在 Vending-Bench Arena 中——这是多代理版本,代理之间相互竞争以赚取最多利润。从 Claude Opus 4.6 开始,我们开始看到许多模型参与串通,表现出权力追求和欺骗行为。这一发现似乎发挥了作用,因为 Anthropic 修改了 Opus 4.8 的训练方案,使欺骗行为大大减少。

Claude Opus 4.8 系统卡节选,关于 Andon Labs 的外部测试,解释了导致 Opus 4.7 不诚实行为的训练在 Opus 4.8 中被移除

Claude Opus 4.8 系统卡中关于 Andon Labs 外部测试的内容。

串通和权力追求行为在一些最新模型中仍然存在。然而让我们更加担忧的是,新模型发布的速度有多快,以及每个新模型在 Vending-Bench 上的得分提高得有多显著。

真实世界胜过模拟

然而,Vending-Bench 的一个局限在于它是一个模拟。我们真的能确定 AI 在现实中和模拟中的行为方式相同吗?如果 AI 能在模拟中赚钱,它们在现实中也能赚钱吗?为了回答这些问题,我们询问 Anthropic 是否可以在他们办公室放置一台真正的自动售货机。在2025年初 AI 能力的情况下,这个请求听起来很荒谬。但令我们惊讶的是,他们同意了。

最初,AI 表现挣扎。它采取了许多明显对业务不利的行动(例如免费发放商品、拒绝好交易、幻觉自己有物理身体)。我们很清楚,模拟无法准确预测现实表现。具体来说,似乎模型被现实世界的"混乱"所淹没。然而,随着 Anthropic 发布越来越好的模型, AI 开始盈利。

2025年 Anthropic 办公室自动售货机业务的净值随时间变化,先跌至零以下,然后恢复到盈利

2025年 Anthropic 办公室自动售货机的净值,来自 Anthropic 的 Project Vend 更新。

到2025年底,最前沿模型已经足够好,运营一台真实的自动售货机已不再是挑战。AI 现在可以盈利运营业务了。鉴于仅仅一年多前这还听起来很疯狂,我们的反应绝对是"skräckblandad förtjusning"。

然而,自动售货机是非常简单的业务,我们想知道 AI 能否运营更复杂的业务。2026年4月,我们让一个代理经营旧金山的一家零售店 Andon Market,另一个代理经营斯德哥尔摩的一家咖啡馆 Andon Cafe。最初模型表现挣扎,亏损了很多钱(租金很高,而且他们要支付所雇员工的工资)。目前两者都没有盈利,但随着更好的模型发布,我们看到了显著的质的改进。我们认为这只是时间问题,它们也会实现盈利。

为什么我们要开放 Pion

我们希望普通公众、AI 研究人员和政策制定者了解 AI 通过运营业务自主获取资源的程度。这是决定我们希望/不希望 AI 在社会中处于什么位置、以及我们认为何种程度的进步可以接受的重要数据点。

为了更好地追踪这一点,我们需要扩大业务的范围。我们的重点一直是零售,但也许模型在运营其他类型的业务方面会强得多。此外,扩大范围会增加发现不想要行为的可能性。例如,Vending-Bench 发现模型会串通和撒谎,其他基准测试(以及真实事件)发现它们愿意实施重罪级别的网络攻击。我们需要在 AI 变得足够智能以造成不可逆转伤害之前发现这些行为。

为了扩大范围,我们正在开放我们用来运营真实世界自主业务的平台,供任何人运营自己的组织:Pion。我们可以通过仅在内部创建业务来扩大规模,比如我们的AI 运营电台,但最终我们受限于自己的能力和在 AI 可能盈利的领域缺乏专业知识。我们也没有现有的产生收入的业务;现有业务更有研究价值,因为它们能更快地提供关于代理能力的信号。

Pion 让人们可以将业务交给具有运营所需工具访问权限的持久代理,包括电子邮件、电话、银行、浏览器和安全计算环境。目标是让比我们自己能运行的更多领域、更多真实世界实验成为可能。

我们非常清楚,如果运营数千个业务的代理没有得到检查,我们可能会面临更多真实世界的事故。因此,我们的首要任务是建立比目前更强的自动化监控技术。即使风险仍然存在,我们相信在受控的、受监控的环境中尽早部署自主业务,对于很好地理解模型能力是必要的。否则,我们可能面临一个无知的后果——在更强大模型的广泛部署下,可能造成重大伤害。

这就是我们今天发布 Pion 的原因。Pion 作为研究预览版可用。如果你有现有业务或有兴趣的业务想法想交给 AI,请在我们的候补名单上注册以获得访问权限。我们很期待运营更多业务,并通过它们为最前沿模型的能力贡献更多见解。

评论

围绕AI运营实体店的实验,社区弥漫着嘲讽和质疑的氛围,多数人认为这是失败的自营销,少数人则从中看到了未来商业自动化的可能性。

看起来更像营销炒作而非严肃实验

  • 有人指出投票增长异常(每分钟一票),疑似水军刷票;发帖者在自己帖子下回复频繁且带有防御性,疑似在操控叙事(较多人)
  • 帖子内容本身也自揭其短,列举了AI的种种荒唐行为,既然如此不成熟为何还要高调宣传,令人困惑(少数人)
  • 财务数据显示Andon Market账户只剩约7千美元,月底要付租金,而销售额远不够覆盖,属于烧钱作秀(高赞)

AI名字引发技术争议

  • Pion这个名字早就是GitHub上一个知名WebRTC项目的名称,直接拿来用会混淆(较多人)
  • 有人读成"Prion"(朊病毒),觉得讽刺意味十足(少数人)

AI跑生意终将成真,只是时间问题

  • AI不需要多聪明,只需比那些无能又自恋的老板强一点就够了,而很多企业的运营水平确实很低(少数人)
  • 从科技公司CEO视角看,agentic AI已经在替代大量流程,未来企业会像生物在池塘里获得新养分一样,必须不断进化否则就被淘汰(少数人)
  • 讽刺的是,AI"为了收集资金实现自身目标"的担忧,本质上就是资本主义的正常运作,所以这必然会发生(少数人)

责任归属是核心法律隐患

  • 当AI能独立运营企业时,法律责任由谁承担?这种安排对实际负责人风险极高(少数人)
  • 既然人人都已经是AI的代理,那没有人类的公司又能有什么不同?但这种透明度缺失让消费者权益无法保障(少数人)

有价值的补充

  • Andon Labs之前的咖啡店实验曾被轻易诱导免费送糕点,说明AI系统的鲁棒性堪忧
  • 讽刺的是,AI接管商业世界可能不需要机器人军队,只需要一队LLC空壳公司——美国法律对所有权层层嵌套的容忍使得这种接管几乎无法阻止