Hacker News 中文摘要

RSS订阅

Garry Tan 希望美开放权重 AI 实验室也蒸馏前沿模型 -- Garry Tan wants US open-weight AI labs to 'distill' frontier models, too

Y Combinator 首席执行官加里·谭(Garry Tan)希望监管机构不要介入中国 AI 实验室用蒸馏技术从前沿模型厂商提取知识一事。他本周对 CNBC 表示,自己什么都不会做,并主张美国也该有一套蒸馏机制。他向 TechCrunch 进一步解释,这意味着让美国规模较小的开放权重 AI 实验室对美国前沿实验室使用同类训练手法,为美国提供更多非中国来源的开放权重选择。

正文

Y Combinator CEO 陈嘉兴(Garry Tan)不希望监管机构介入中国 AI 实验室利用蒸馏技术从前沿模型厂商提取知识这件事。他甚至认为,美国 AI 实验室或许也该玩同样的游戏。

「我什么都不会做,」他本周早些时候接受 CNBC 采访时说。「我们可以主张,美国应该有一套自己的蒸馏制度。」

他向 TechCrunch 进一步解释,这意味着他希望规模较小的美国开放权重 AI 实验室对美国前沿 AI 实验室使用同类的训练技术,从而让美国拥有更多非中国的开放权重选择。

蒸馏是指模型厂商大量提示另一个模型,以学习它如何工作、如何推理。AI 实验室普遍且合法地使用这种技术来帮助训练新模型。

Anthropic 本周发布第二份报告,指控中国实验室进行「非法蒸馏攻击」,称它们隐藏身份、未经许可进行蒸馏,并依赖欺诈和窃取的凭证。Anthropic CEO 达里奥·阿莫代伊此前曾公开呼吁美国监管机构打击蒸馏。

值得注意的是,这位硅谷知名且高产的创业加速器掌门人并不同意。

需要说明的是,陈嘉兴并不主张美国 AI 实验室使用窃取的凭证去蒸馏。他希望它们能自由地从正门进入。事实上,他的论点有两层。他认为,AI 实验室规定客户可以如何使用模型向它们分享的信息,属于越权。

他还指出,专有 AI 实验室在尽可能吸收人类知识来训练模型时,也没有征求许可。它们曾大量摄入受版权保护的材料,且未获得知识产权持有者的同意。

当被问及为什么美国实验室也应该可以自由蒸馏时,他告诉 TechCrunch:「控制用户和客户对闭权重模型的 API 调用能做什么,让人感到受束缚。政府可以发挥作用,让这样一个事实正常化:基于广泛公开数据训练出来的智能,本身也应该更像一种公共产品,而不是被限制性服务条款锁起来的东西。」

陈嘉兴本人就是一名重度 AI 用户,曾形容自己有「网络精神病」。他希望开放权重 AI 实验室和前沿实验室之间取得平衡。

「它们处于前沿,推动着前沿前进。我们希望这件事值得投资,并成为持续的好商业模式,」他告诉 CNBC。「你希望开放权重模型给人们自由和获取机会。」

在他看来,真正的 AI 末日情景,是前沿 AI 的巨大力量最终落入一家强大的专有提供商手中。「噩梦场景,AI 的末日场景,就是只剩一家公司,」他说。「它拥有最好的资本渠道,拥有最好的 AI 研究人员。它一骑绝尘,突然之间就只剩一家独大的公司。那会很糟糕。」

评论

社区普遍质疑闭源实验室的道德双重标准并支持蒸馏自由化与开放权重,少数人担忧数据投资回报落空,另有人视倡导者为公关作秀。

认为闭源实验室无道德高地且应开放模型访问

  • 前沿模型靠未经许可抓取版权与公域数据训练,指责蒸馏“非法”是双标,访问应视为公共品(较多人) > 实验室吸干人类知识时没问许可,如今想禁蒸馏是占着道德高地说话。(@TheJCDenton)
  • 社会整体已通过知识产权让步、能源涨价等付出代价,法律不应阻止民主化;有意见类比电信法强制光纤共享,认为人工智能公司应被要求公平允许蒸馏。

认为蒸馏促进创新并具反垄断性质

  • 开放权重小模型生态对美国有益,阻止接口用户开发竞争产品应诉为反竞争(较多人) > 允许蒸馏创建高效开放模型是净受益,阻人竞争应属反垄断行为。(@pton_xd)

担忧自由蒸馏摧毁数据经济基础

  • 实验室年耗巨资购数据与标注,若成果被开放模型瞬间克隆,企业与消费者皆用克隆品,则无人出资改进各子领域人工智能,这与软件盗版不同(少数人但论据扎实,反直觉) > 若价值立刻被复制,实验室为何继续资助数据?求可持续经济模型。(@zetazzed)

认为前沿经济不可持续、开放模型将取胜

  • 训练成本难收回,推理已补贴,开放权重质量已近前沿,未来利润在应用框架而非模型,纯实验室将消亡(较多人) > 模型商品化后无钱可赚,五年内前沿实验室或破产被拆解。(@dvt)

认为倡导蒸馏是政客式免费营销

  • 类似富豪倡全民基本收入明知不行,只是有效免费的个人品牌游戏(少数人,代表嘲讽情绪) > 他们知道不会发生,倡导纯属装逼者的忽悠游戏。(@okasaki)

有价值的补充

  • 电信基础设施类比精巧:泡沫期光纤公司依电信法须让竞争者公平使用,可映射人工智能蒸馏管制。
  • 实际相似迹象:Muse Spark 与 Fable/Opus 极相似,且所谓中国盲目蒸馏是幻觉,美国实验室自身也用他人输出蒸馏(@etdznots)。
  • 产业分叉预测:人工智能将如个人电脑分化为硬件(英伟达类)与软件应用框架(微软类),模型不再是利润中心(@dvt)。
  • 连通常反对者都承认,主张政府规范使公共数据训练出的智能成为公共品而非锁进服务条款,表述简洁在理(@dofm)。