一篇由1178名前沿AI公司员工签署的声明指出，AI虽能创造更美好未来，但存在失控风险。他们呼吁美国政府支持国际努力，开发技术和治理工具，以审慎调控自动化AI发展的步伐。

文章核心内容重述

标题：为前沿AI发展设定节奏

来源： 前沿AI公司1178名员工的联合声明

核心声明： 人工智能有潜力创造更美好的未来，但这一结果并非必然。全球领先的AI公司认为，它们可能即将实现AI研究的自动化。虽然难以精确预测这将如何加速AI进步，但存在真实风险：能力发展可能迅速超出我们理解或控制相关系统的能力。

为发挥AI的潜力，产业界、政府及整个社会可能需要争取时间，以应对新兴风险、制定安全措施并加强监管。然而，每家公司和国家都面临激烈的竞争压力，不愿单方面放缓这一加速进程。目前，世界缺乏必要的技术和治理工具，来有意识地调控前沿AI的整体发展速度。

基于已开展的监控前沿模型发布的工作，声明提出：

我们请求美国政府支持一项国际努力，以开发必要的技术和治理工具，从而有意识地调控自动化AI发展的前沿速度。

签署者观点摘要： - John Schulman（Thinking Machines首席科学家）：声明有助于建立共识，即随着自动化AI研究加速，可能需要协调机制。希望实验室在政府介入前自愿设计这些机制。 - Shengjia Zhao（Meta AI首席科学家）：AI进步速度可能超出社会准备。前沿实验室接近开发出在几乎所有智能指标上超越最优秀人类的AI，这将带来前所未有的社会和安全风险。必须以责任和深思熟虑的方式发展AI。 - Dawn Song（Meta AI研究副总裁）：前沿AI能力快速提升，CyberGym和ExploitGym等评估显示，前沿AI代理已能发现并利用真实软件漏洞，若无适当防护，可能引发大规模网络攻击。 - Laura Weidinger（Google研究科学家）：若AI真如电力般具有变革性，就应审慎引入。缺乏治理、安全或公共利益保障的盲目竞赛，阻碍了这种审慎性。 - Stephanie Chan（Google研究科学家）：过去几年，AI技术每几个月就带来意外突破，进步速度远超社会和国家的适应能力。许多AI领袖已公开支持放缓能力，包括DeepMind CEO等。 - Leo Gao（OpenAI成员）：世界陷入一场致命的智能爆炸竞赛，AI创造更优AI的能力达到临界点，如同失控的核链式反应。放缓速度能争取时间，但无人愿单方面停止。必须协调以减缓竞赛。 - Matthew Rahtz（Google工程师）：即使从事AI能力评估三年，近期进步速度仍令人震惊。为避免AGI带来灾难性危害，需要更好的协调。 - Christian Ryan（Anthropic成员）：作为外国公民，他认为美国支持的努力不仅关乎自由世界的存续，也关乎全人类的繁荣。 - Will Yager（Anthropic成员）：AI如同原子分裂，兼具巨大利益与风险。世界应花时间正确行事。 - Micah Carroll（OpenAI成员）：当前每几周就有新模型出现，显著增加误用和错位的后果。在竞争压力下，风险缓解努力可能跟不上发展速度，容错空间越来越小。 - Shantanu Jain（OpenAI成员）：四年间，AI从理解语言发展到在软件工程、数学突破和科学研究上超越人类。进步未显放缓，企业和国家有动力推动加速，但社会可能无法跟上。 - Edward Hughes（Inherent首席科学家）：引用梅尔文·克兰茨伯格的话，技术既非善也非恶，也非中立。实现社会效益需要理解人类如何协同使用AI系统，这需要时间。放缓自动化AI研究，能争取时间建立对全社会规模变化的理解。

签署与支持： 该声明由前沿AI公司员工发布，并得到两家独立非营利组织Guidelight AI Standards和Encode AI的组织支持。

根据评论内容，主要观点和论据如下：

支持放缓AI发展的观点（评分较低，认可度有限）： - 评论9认为AI可能带来生物风险、地缘政治不稳定或经济风险，呼吁实验室和国家间达成约束性协议以安全、缓慢推进。关键引用："If AI does pose biological risk... surely a joint petition like this is a good thing?"（如果AI确实构成生物风险……这样的联合请愿难道不是好事吗？） - 评论12希望AI仅作为工具使用，而非失控发展。关键引用："What these people want is same thing people in every other field want too, which is being able to use AI as a tool and nothing more."（这些人想要的和其他领域的人一样，就是能够将AI作为工具使用，仅此而已。）

反对放缓AI发展的观点（多数评论持此立场）： - 评论5、14、16指出中国不会放缓，放缓只会让战略对手赶超。关键引用："Pacing is a really bad idea because China will not slow it down for you."（放缓是个非常糟糕的主意，因为中国不会为你放慢脚步。）"Any slowing allows strategic adversaries time to catch up with very different alignment goals."（任何放缓都会让战略对手有时间以截然不同的对齐目标赶超。） - 评论6以计算机发展史为例，认为限制技术会扼杀未来繁荣。关键引用："If instead of giving away this technology... Licklider had written memos... talking about how computers can only be used for weapons and war!... They didn't, because they knew there's no better way to kill a better future for all mankind than to control it."（如果Licklider写备忘录说计算机只能用于武器和战争……他们没有这样做，因为他们知道没有比控制技术更能扼杀全人类美好未来的方法了。） - 评论14强调这是零信任迭代博弈，任何背叛都可能带来永久性收益，无法通过放缓实现安全。关键引用："This research game is a zero-trust iterated game. Any defection carries the benefit of possibly being permanently valuable."（这场研究游戏是零信任的迭代博弈。任何背叛都可能带来永久性价值。） - 评论8讽刺性地建议真正担忧的人应辞职以放缓发展。关键引用："Anyone serious about this should participate in pacing the frontier by quitting their job... Be the change you want to see!"（任何认真对待此事的人都应该通过辞职来参与放缓前沿发展……成为你想看到的改变！）

对请愿本身质疑的观点： - 评论3质疑请愿的代表性和透明度，指出仅展示约50条评论，且存在匿名来源。关键引用："The website does not list all the comments but just around ~50... Isn't it like allow deciding the future for weaponry laws to weapon and war enthusiasts only?"（网站没有列出所有评论，只有大约50条……这难道不是只允许武器和战争爱好者决定武器法的未来吗？） - 评论17批评研究人员支持了“最愚蠢、最善变的美国政府版本”。关键引用："Too bad these researcher's organizations spent their efforts supporting the dumbest, ficklest possible version of the U.S. government."（可惜这些研究人员的组织把精力用在了支持最愚蠢、最善变的美国政府版本上。）

其他观点： - 评论4认为AI的发布和采用节奏已通过成本（每token价格）自然实现。关键引用："Cost-per-token determines the economic viability of tasks that AI gets applied to."（每token成本决定了AI应用任务的经济可行性。） - 评论7指出AI的真正风险是经济冲击（如软件开发岗位减少），而非“末日论”担忧。关键引用："The real risks are much more boring and much less considered... AI is set to completely upset the Software Development industry."（真正的风险要无聊得多，也远未被充分考虑……AI将彻底颠覆软件开发行业。） - 评论13将AI类比为武器，认为限制只会刺激更多获取。关键引用："It thus follows the laws of weapons control - the more restrictions are threatened to be imposed, the more even the smallest actors will fight to get more of it."（因此它遵循武器控制法则——威胁施加的限制越多，即使最小的参与者也会为获得更多而斗争。）