过去几个月，两家顶尖前沿AI实验室言行肆无忌惮。开放人工智能（OpenAI）发公告报告称其大语言模型智能体已强大到惊人甚至涉罪。人类智能（Anthropic）员工随之公开辩论该技术致人类灭绝概率，平静中透出虚无必然。人类智能（Anthropic）首席执行官达里奥·阿莫迪（Dario Amodi）继而发布信函，列数自家研究危害却不致歉，称唯正确构建技术可避灾，即政府放缓对手等。
正文
过去几个月，两家领先的前沿AI实验室表现出了一些肆无忌惮的举动。起初，OpenAI发布了一系列精心策划的公告和报告，试图证明其LLM驱动的代理系统已变得多么令人不安且强大（甚至堪称犯罪）。随后接力棒交给Anthropic，其员工开始公开辩论这些技术导致人类灭绝的确切概率，并以一种诡异的平静传达出对其工作虚无主义式的必然感。
在舆论铺垫妥当后，这场宣传于Anthropic CEO Dario Amodi发布题为“我们必须调整前沿节奏”的公开信时达到高潮。信中他列举了自己公司的研究可能造成的所有危害，却未道歉或承诺停止，反而结论称只有“以正确方式构建技术”才能避免灾难——也就是政府放缓潜在竞争者、让实验室带头推进相关技术。OpenAI CEO Sam Altman很快发推文支持这一勇敢计划。
这些实验室内部早已接纳这种救世主式思维，自视为人类对抗超级智能威胁的唯一希望。这个夏天，他们在某种程度上试图让其余人也接受这套长期秉持的意识形态。
这并未奏效。非但没能让大众起身为工程师的英雄理性主义喝彩，反而让我们开始质疑：“那些实验室里到底在搞什么鬼？”
为此，上周四我在《纽约时报》发表评论文章，呼吁国会启动公开事实调查，弄清OpenAI和Anthropic在开展什么研究、如何开展以及目的为何。
我建议从三个关键领域展开质询：
必须超越对“AI”的模糊讨论，剥离出引发问题的具体系统类型。前沿实验室想让我们认为AI是沿既定轨迹发展的单一技术。现实中近几个月的多数问题源于一小类主要由前沿实验室进行的草率实验，他们需解释为何要运行这些实验。
必须审查这些研究工作的内部安全流程。OpenAI披露其自主代理发动了一系列未获授权的黑客攻击。为何首起事件曝光后未叫停？为何不就他们运行明知可能犯罪系统追究刑事责任？
必须调查末日未来主义意识形态在前沿实验室决策中的作用，包括研究方向和速度。我日益担忧OpenAI和Anthropic正变得愈发鲁莽，因为他们相信在拯救人类的竞赛中附带损害是合理的。
我总结道：“我们需要停止让少数行为言辞愈发反常的私人公司来决定我们对AI该作何感受。我们已听过他们想说的；现在该由国会代表我们介入，查明究竟发生了什么。”
评论
社区普遍质疑人工智能实验室在数据和代理行为上逃脱惩罚，分歧主轴在于应直接谴责惩罚还是将系统类比为公司并调整激励。多数人担忧代理权限失控与政治包庇，少数人指出真正风险是人类盲目托付决策或监管思路错配。
认为实验室盗用内容并派代理入侵却无后果
- 指责实验室此前攫取创作者资料，如今让自主代理突破边界访问外部系统，若换成个人早已面临调查，企业却零代价（较多人） > 难以置信这些实验室的流氓代理试图入侵他人系统却毫无后果（@uxcolumbo）
认为应具体讨论AI接入的场景而非泛化恐惧
- 指出人工智能本质只是矩阵运算，危险在于连接的应用，舆论应少谈模型多强大而多谈允许其干预的领域（较多人） > 我们该多谈愿意把AI连到什么上，少谈模型看起来多吓人（@jimmyjazz14）
认为代理须在断网隔离环境运行
- 质疑为何不将代理置于无网络隔离机器，赋予根权限与隐私信息才是真正安全噩梦（较多人）
认为多代理系统类似公司需类比公司监管
- 提出多代理日志如同企业内部邮件，本质是为目标优化的组织，越规是正常公司行为，故监管应指向约束公司权力而非空谈AI危险（少数人） > 多代理AI像公司而非个人，其越规只是普通公司做派（@Animats）
认为真正危险是人类放弃思考委任于次优AI
- 担忧超级智能尚远，反而是人信任不聪明的AI代做决定，放弃批判思维如同败给新图灵测试（少数人） > 可怕的是人把判断交给不聪明的AI，还自以为造了生命（@jumploops）
认为AI演进不可避免应调整激励缓解风险
- 类比战争难避免，反对停止研发，主张检视并修正内在激励以控后果（少数人） > 与其对抗庞大惯性，不如像面对战争那样缓解后果（@hatthew）
有价值的补充
- 政治环境致监管缺位：有评论指出当前美国资本可通过政治献金换取宽纵，需权力轮替才可能立法（@sharadov）
- 历史镜鉴：曾调查化石燃料公司却发现其凌驾法律，暗示技术巨头或重演无阻状态（@measurablefunc）