Hacker News 中文摘要

RSS订阅

致 Dario 公开信:若当真,就开放模型权重 -- An open letter to Dario: if you mean it, open the weights

达里奥(Dario Amodei),你今天发布了《We Must Pace the Frontier》,承诺 Anthropic 内置第三方评估者,并要求政府让其他前沿公司同样照做,萨姆·奥尔特曼(Sam Altman)几小时内就表示赞同。我相信你是真诚的,所以想请你呼吁另一条法律,哪怕这会让你付出真正的牺牲:任何公司向公众提供的 AI 模型,都必须公开权重。

正文

亲爱的 Dario:

你今天发表了《我们必须为前沿技术减速》,承诺 Anthropic 引入嵌入式第三方评估者,并要求政府让其他每一家前沿公司照做。Sam Altman 在几小时内就表示同意。

用发光的 0 和 1 渲染出的 Dario Amodei 的面孔

我相信你是真诚的,所以我想请你呼吁一条不同的法律——一条真正能减速的法律,哪怕它需要你做出实实在在的牺牲。

任何公司向公众提供的 AI 模型,都必须以开放权重发布。

这不涵盖你训练的所有模型,只涵盖你向公众开放的那些。内部模型和研究模型不受影响,政府仍然可以访问未发布的模型。

但 Anthropic 必须在 Fable 发布当天公布它的权重,OpenAI 对 Astra 也得这么做,其他所有公司也一样。

如你所知,前沿模型开发的资金依赖于「权重保持专有」这一估值假设。改变这个假设,我们就能减少未来训练可用的资金,让所有实验室同时减速,而不需要监管者去做任何决定。

你要求的每一项监管最终都会变成监管捕获

嵌入式评估者、算力阈值、带反垄断豁免的行业协调。所有这些在起草时都会有当前前沿实验室参与,因为除了他们没人足够了解技术细节。

一旦成为法律,它只会变得更复杂,因为每起事件都会新增一条规则,而规则从不被删除。大公司养得起合规团队和律师,每一项新要求都让其他人更难追上他们。它不是让你减速,而是保护你的地位和利润。

为什么我找你

你看起来是个善良且有原则的人,也有为自己信念放弃东西的记录。你离开 OpenAI 去创办一家从一开始就把安全内建其中的公司,而当时更安全的职业选择是留下。多年来你呼吁监管自己所在的行业,因此被叫做末日论者和监管捕获者。你推动出口管制,缩小了自己的市场。Anthropic 付了 15 亿美元与作者和解,而不是打到底。今天你又承诺在任何人之前先减速。

你还有远见地把 Anthropic 设为 PBC(公共利益公司),这样就能合法地把使命放在首位:

负责任地开发和维护先进 AI,以促进人类的长期利益。

这正是 PBC 结构存在的意义——为使命而牺牲短期利润的决定。你仍然是唯一能提出这样一条法律并被认真对待的人,也是唯一可能真正去做的人。

如果你真的想减缓前沿 AI,就呼吁一条让每个公开可用的模型都开放权重的法律。这里面没有任何可以钻空子或绕开的地方,即使对你来说也没有。

评论

社区普遍嘲讽“强制公开模型权重以拖慢 AI 进程”的提议,认为其逻辑断裂且会倒逼厂商彻底封闭;少数人则聚焦开放权重的安全风险或质疑巨头诚意。

强制开放权重只会倒逼厂商停止公开服务

  • 厂商收入主要来自企业协议,若立法强制任何公开模型开放权重,他们只需撤下公开服务,反而加速模型访问特权化与权力集中;且原提议假设全球实验室同步自毁估值、无视新实验室接力的可能,实属脱离现实。(高赞) > 若强迫公开模型开放权重,他们大可停止提供公开模型,这只会让访问彻底私有化,那不是我们想要的世界(@tristanj)

开放权重本身等于打开潘多拉魔盒

  • 前沿模型一旦开放便不可回收,易被越狱用于持续黑客攻击甚至国家背景的生物武器泄露,尽管也有人承认单一公司垄断同样堪忧。(较多人) > 强大的开放权重模型若被越狱,轻则网络遭侵蚀,重则国家实验室泄露致命病毒(@notcodingtoday)

首席执行官的表态终为利益服务

  • 身处风投体系的掌门人所谓安全忧思,实质是为了推高公司估值或与争议企业合作,若真想减缓研究自会去游说立法而非空谈。(较多人) > 作为风投公司的掌门人,他所说的一切无非是为了抬高估值(@hdivider)

提议忽略了更直接的监管替代方案

  • 严肃应对风险时,国际禁止强开放模型或国有化等硬手段才是可行讨论,原文却只执着于荒唐的自愿式开放要求。(少数人) > 若认真面对威胁,为何不讨论国际禁令或国有化等真正选项(@baby)

西方与东方的竞赛不会因道德呼吁减速

  • 当前人工智能已成地缘主导权竞速,无论倡议如何,主要玩家在可预见的未来都不会主动放慢脚步。(少数人) > 这已变成西方与东方的统治竞赛,短期内没有任何一方会松劲(@t-o-m-e-k)

人工智能灭绝威胁被科幻叙事夸大

  • 实验室逃脱毁灭人类的想象如同 Y2K 式炒作,真实且紧迫的威胁是用户滥用技术以及气候与战争,技术滥用终将随对策演化而可控。(少数人) > 所谓实验室逃脱灭绝人类犹如 Y2K 恐慌,拔掉光纤便能化解,真实灭绝危机仍是气候与战争(@jchw)

以荒诞索贿反讽倡议诚意

  • 纯玩笑代表社区情绪:有人提议让 Dario 每次发布前沿模型就白送自己十亿美金,以此揭示“要求他人牺牲”的荒谬。(玩笑一条) > 若你真心为民,不如每次发新模型就白白赠我十亿,危机自然化解(@sobiolite)