Hacker News 中文摘要

RSS订阅

OpenAI称其新模型GPT-2风险过高暂不发布(2019年) -- OpenAI says its new model GPT-2 is too dangerous to release (2019)

文章摘要

OpenAI开发了强大的文本生成模型GPT-2,但因安全考虑未完全公开算法,仅发布简化版。媒体对此反应夸张,称其"强大到需要封锁",而业内专家质疑其声明是否夸大。这引发了关于如何管控潜在危险AI算法的讨论。OpenAI由马斯克等科技领袖资助,致力于安全推进AI发展。

文章总结

上周,非营利研究机构OpenAI宣布开发出一款新型文本生成模型,该模型能根据特定主题提示创作出连贯且风格多样的文章。但该组织表示,出于"安全考量"将不会公开完整算法。

OpenAI决定仅发布该模型的"精简版",同时保留其训练数据集和开发代码。若仅从媒体报道的标题了解这个名为GPT-2的模型,你可能会误以为OpenAI研发出了武器级聊天机器人。英国《地铁报》标题称:"埃隆·马斯克创立的OpenAI开发出必须为人类福祉而封存的超级AI";CNET的报道则写道:"马斯克支持的AI团队警告:我们的文本生成器强大到令人恐惧";《卫报》专栏更以毫无反讽意味的标题宣称:"AI已能模仿我的写作,机器人末日将至"。

这些耸动标题背后,机器学习领域的专家们正在质疑OpenAI是否夸大了其技术突破。该事件同时引发了关于如何监管潜在危险AI算法的讨论。

作为人工智能研究先驱,OpenAI最初由SpaceX和特斯拉创始人埃隆·马斯克、风投家彼得·蒂尔及领英联合创始人里德·霍夫曼资助成立。这个非营利组织致力于引导AI技术向负责任的方向发展,避免滥用和危害。除文本生成外,OpenAI还开发了能自学简单任务的机械手、击败《Dota2》职业玩家的系统,以及能融合人类反馈的学习算法。

2月14日,OpenAI在博文中宣布其研究人员通过800万网页文本训练出的语言模型,能够预测文本中的后续词汇。据称,这个名为GPT-2的算法能"自适应输入文本的风格与内容",让用户"针对自选主题生成真实连贯的续写"。为展示成果,OpenAI提供了GPT-2根据人类提示生成的文本样本。

例如输入提示: "科学家在安第斯山脉偏远山谷发现独角兽群落,更令人惊讶的是这些独角兽能说流利英语"

GPT-2随即生成一篇新闻体报道,详细描述科学家以"奥维德的独角兽"命名该种群,并虚构了进化生物学家佩雷斯的考察细节。其他样本还展示了该算法模仿《指环王》战斗场景、撰写反对回收的专栏文章,甚至虚构肯尼迪总统"赛博格化重生"演讲的能力。

尽管研究人员承认该算法存在行文松散、重复用词、主题转换生硬等问题(比如莫名提及"水下火灾"),但OpenAI坚称GPT-2远超其以往开发的任何文本生成器。虽然这个评价带有自我参照色彩,但AI领域普遍认同GPT-2确实代表了当前文本生成技术的尖端水平。不同于只能处理狭窄任务的普通AI,GPT-2能灵活适应多种写作风格,还能通过上下文区分多义词含义,掌握冷僻用法。这些突破使其能创作更长的连贯文本,有望提升翻译服务、聊天机器人及AI写作助手的表现——尽管未必带来革命性变革。

出于可能遭滥用的担忧,OpenAI决定仅发布模型的精简版。博文列举了生成虚假新闻、网络冒充、制造网络垃圾等潜在风险。虽然人类本身就能制造此类恶意内容,但AI文本生成可能极大提升其生产规模——GPT-2虽缺乏优雅文风,却能以量取胜。

然而包括OpenAI内部人士在内的多数AI专家认为,封锁算法最多只是权宜之计。卡耐基梅隆大学语言技术研究所首席科学家罗伯特·弗雷德里克指出:"OpenAI并未使用惊人新技术,只是向前迈进了一步。当其他机构都能复现该技术时,封锁研究成果意义存疑。"事实上,具备足够资金和公开AI知识的机构完全能开发类似GPT-2的文本生成器,甚至通过租用亚马逊云服务器实现。OpenAI虽未公开算法,但其建模过程并无秘密可言。

机器学习界有人指责OpenAI为博取关注夸大风险,剥夺了无力自建模型的学术研究者使用GPT-2的机会。但MIT计算机科学实验室研究员戴维·鲍认为,这个决定更像引发AI伦理讨论的举措:"单个组织暂停项目不会改变长期趋势,但OpenAI的举动让公众关注这个问题,值得肯定。"

正如OpenAI试图引发的思考:我们该如何对待强大AI模型?AI扩散的危险未必来自反叛的杀人机器人。假设OpenAI真开发出普通人能大规模下载使用的革命性文本生成器,哈佛伯克曼中心研究员约翰·鲍尔斯认为需要权衡利弊:"事实上许多酷炫的AI研究成果都可能被武器化。"对于文本生成器,他倾向于公开算法以促进自然语言处理领域发展,但承认需警惕AI图像识别技术可能助长监控滥用。而像制造深度伪造视频(如换脸色情内容)的工具,他认为"弊远大于利"。

鲍尔斯强调这些判断具有主观性,这也折射出OpenAI试图揭示的机器学习领域现存缺陷:"AI是非常年轻的领域,我们对其产品的社会影响评估尚未成熟。"从业者尚未建立广泛认可的伦理框架来权衡AI技术的开发与发布。

历史经验表明,试图压制AI工具的传播可能是徒劳。即便就算法传播伦理达成共识,也难以阻止持异议者。弗雷德里克将当前困境比作1990年代消费级加密技术的普及:政府多次试图监管密码学却屡屡失败。1991年参议员拜登提出法案要求科技公司预留执法后门,但程序员菲尔·齐默尔曼开发的PGP加密工具使该计划流产。当立法者考虑进一步限制强加密服务时,美国国家研究委员会1996年研究发现用户可轻易从以色列等国合法获取相同服务。

"当科技进步时机成熟时,你无法阻止它,"弗雷德里克总结道,"唯一能做的是思考应对之策。"

(本文由Slate杂志、新美国基金会和亚利桑那州立大学合作的"未来时态"项目出品,探讨新兴技术、公共政策与社会关系。)

评论总结

以下是评论内容的总结,涵盖主要观点和论据,并保持不同观点的平衡性:

1. 对OpenAI公关策略的质疑

  • 观点:认为OpenAI以“技术太危险”为借口,实则是公关策略或商业竞争手段。
  • 论据:
    • "OpenAI just struggled to close a round... So it would make sense they'd go back to the PR strategy of 'stop me from shooting grandma.'"(评论1)
    • "It playbook is that a model is too dangerous until a competitor releases a competing model that beats yours."(评论3)
    • "A convenient pretext for maintaining a monetizable competitive advantage while claiming a benevolent purpose."(评论14)

2. 对GPT-2危险性的争议

  • 观点:部分人认为GPT-2的危险性被夸大,实际影响有限。
  • 论据:
    • "the thing could barely make full grammatical sentences, it's funny to see that even then they were overclaiming the fuck out of their myself"(评论4)
    • "Their concerns weren't completely off base, I think they just over estimated how much it would really matter in the grand scheme."(评论10)
  • 相反观点:也有人认为GPT-2确实标志着技术转折点,需谨慎对待。
    • "GPT-2 was where the capabilities of these were really proven... it WAS that dangerous."(评论25)

3. 对AI技术发展的反思

  • 观点:AI的实际能力与宣传存在差距,部分功能仍不完善。
  • 论据:
    • "NONE OF Codex GPT-5.4... have been able to solve a very straightforward and basic UI bug."(评论19)
    • "I have fixed the bug. Despite not knowing this particular programming language or framework."(评论19)
  • 观点:低质量内容泛滥可能成为真正问题。
    • "The growing amount of low-quality content everywhere could become a real problem."(评论5)

4. 对商业动机的批评

  • 观点:商业公司以“危险”为由限制开源,实则为保持竞争优势。
  • 论据:
    • "the point of the 'it's too dangerous' rhetoric is to enable 'Open' AI to avoid open-sourcing the weights."(评论14)
    • "I cannot understand how you can do it as a commercial enterprise."(评论20)

5. 对历史事件的回顾与调侃

  • 观点:回顾GPT-2等事件,认为其宣传过于夸张。
  • 论据:
    • "This didn't age well"(评论26)
    • "Feels like from the before times."(评论11)
    • "What a blast from the past."(评论23)

6. 对当前AI发展的担忧

  • 观点:部分人认为当前AI(如Anthropic的Mythos)确实存在风险。
  • 论据:
    • "Mythos is similar... It's capabilities for hacking are unparalleled."(评论25)
    • "The current 'too dangerous' hype today is Anthropic's Mythos."(评论12)

7. 对OpenAI透明度的质疑

  • 观点:OpenAI的决策缺乏透明度,可能隐藏真实动机。
  • 论据:
    • "Zero mention of Sam Altman…interesting"(评论15)
    • "Playing on fear instead of the bright future... is not the feeling I would want to leave the public with."(评论27)

总结:评论中既有对OpenAI策略的批评和调侃,也有对技术风险的严肃讨论,反映了对AI发展复杂性的多元看法。