Hacker News 中文摘要

RSS订阅

AGI幻想阻碍实际工程进展 -- AGI fantasy is a blocker to actual engineering

文章摘要

文章指出,OpenAI团队对AGI(通用人工智能)的狂热信仰阻碍了实际工程进展。Elon Musk将DeepMind创始人视为邪恶天才,OpenAI联合创始人Ilya Sutskever甚至要求员工"感受AGI",这种对AGI救世或灭世的执念偏离了务实研发轨道。

文章总结

标题:AGI幻想阻碍了真正的工程实践

在阅读Karen Hao的《AI帝国》时,我惊讶地发现OpenAI相关人员对通用人工智能(AGI)的狂热信仰。他们坚信有人(可能就是他们自己)将创造出AGI,并认为这将导致人类文明的繁荣或毁灭。

埃隆·马斯克创立OpenAI的动机源于他将DeepMind创始人Demis Hassabis视为"邪恶天才"的偏执想象: - 马斯克经常将Hassabis描绘成需要被阻止的超级反派 - 他甚至在OpenAI内部会议上激动地提及Hassabis2004年开发的游戏《邪恶天才》,以此作为"证据" - 这种将科技研发英雄化的叙事在硅谷已成主流

OpenAI首席科学家Ilya Sutskever更是将这种信仰仪式化: - 在2022年约塞米蒂的团建活动中 - 他通过焚烧象征"欺骗性AGI"的木雕进行表演式演讲 - 要求员工"感受AGI"的存在

技术路线上,OpenAI押注"纯语言假说": - 认为仅通过语言训练就能产生AGI - GPT-2的成功强化了这一信念 - 导致对算力的无度追求: * 数据中心每秒消耗数百升水 * 因电网不足而使用污染性燃气发电机 * 硬件制造运营推高碳排放 * 内容审核员遭受心理创伤

支持者用"期望价值"理论辩护: - 即便成功概率极低,潜在收益巨大就值得投入 - 但该理论存在根本缺陷: * 概率和收益都是主观臆测 * 忽视已知的环境代价等负外部性

作为技术从业者,作者提出三项原则: 1. 有效性:达成预期目标 2. 高效性:减少资源浪费 3. 无害性:避免人环伤害

当前LLMs的发展模式违背所有原则。建议: - 放弃AGI幻想 - 将生成模型定位为特定问题解决方案 - 采用成本效益分析 - 考虑使用小型专用模型 - 回归工程实践本质

(注:删减了部分戏剧性描写和次要人物言论,保留了核心论点和技术细节,将英文惯用表达转化为符合中文科技评论风格的表述。)

评论总结

以下是评论内容的总结,涵盖主要观点和论据,并保持不同观点的平衡性:

1. 对LLM和AGI的质疑

  • 观点:许多评论认为LLM(大语言模型)是技术死胡同,AGI(通用人工智能)是幻想。

    • 引用:"Many big names in the industry have long advocated for the idea that LLM-s are a fundamental dead end." (Etheryte)
    • 引用:"Talk of AGI is, frankly, just annoying and dumb, at least when it is used to mean bona fide intelligence or 'superintelligence'." (lo_zamoyski)
  • 论据

    • LLM的架构与人类大脑差异巨大,硬件限制明显。
    • AGI的支持者高估了短期实现的可能性,忽视了基础研究的不足。

2. 对AGI支持者的反驳

  • 观点:AGI支持者(如OpenAI、DeepMind)的动机可能源于商业利益或炒作。

    • 引用:"AGI fantasy is really about hype and maintaining that aura around the company." (yalogin)
    • 引用:"Keeping up the ruse is the only way to justify the sunk cost in major investment." (baggachipz)
  • 论据

    • 部分评论指出,AGI的“预期价值”论证(类似帕斯卡赌注)是夸大其词。
    • 实际进展(如AlphaFold)虽有意义,但与AGI无关。

3. LLM的实际价值

  • 观点:LLM在特定领域(如字幕生成、编程辅助)有实用价值,但不应被神化。

    • 引用:"Whisper has radically improved CC on my video content... There are big wins in AI." (geerlingguy)
    • 引用:"They are already quite effective and correct at what they do and will only get better." (mofeien)
  • 论据

    • LLM提高了效率,但无法替代人类工程师或实现“全栈编程”。

4. 环境与伦理问题

  • 观点:LLM的环境成本(如能耗、水资源)被夸大,伦理问题(如数据工人剥削)需关注。

    • 引用:"The climate impact of data centers is way overstated relative to... emissions from other sources." (jillesvangurp)
    • 引用:"The exploitation of data workers and the environment unacceptable." (mofeien)
  • 论据

    • 数据中心的水资源消耗与其他行业(如农业)相比微不足道。
    • 伦理问题更多是资本主义的普遍问题,而非AI独有。

5. 技术乐观主义与未来展望

  • 观点:尽管AGI遥远,但探索过程可能带来意外突破。

    • 引用:"We should do things because they are hard, not because they are cheap and easy." (jillesvangurp)
    • 引用:"The past three years we've seen enormous progress with AI." (jillesvangurp)
  • 论据

    • 技术进步(如手机端运行AI)显示效率提升。
    • 反向工程人脑可能是实现AGI的关键路径。

总结

评论呈现了对AI发展的两极态度:一方质疑LLM和AGI的可行性,批评商业炒作;另一方肯定AI的实际价值,认为探索过程本身有意义。环境与伦理问题存在争议,但多数认为应理性看待成本。AGI的支持与反对均涉及深层的技术、商业和哲学分歧。