文章指出Eliezer Yudkowsky在AGI发展问题上存在矛盾立场：一方面警告AGI的危险性并呼吁放缓研发、重视伦理，另一方面又积极开发编程语言试图构建AGI。这种摇摆态度持续数十年，反映出他在"只有我能构建安全AGI"和"任何人开发AGI都会毁灭人类"两种极端观点间的反复。

标题：为何《人类灭绝论》对AGI的认知存在根本性谬误

本文是对Eliezer Yudkowsky与Nate Soares合著书籍《如果有人造出它，人类就会灭绝》的深度回应。作者Ben Goertzel作为与Yudkowsky相识二十余年的AGI研究者，系统驳斥了书中核心论点。

核心分歧点： 1. 矛盾立场：Yudkowsky长期在"只有我能建造安全AGI"与"任何人造AGI都会灭绝人类"间摇摆，这种非黑即白的思维存在根本缺陷。

2. 认知偏差：

• 错误地将智能简化为数学优化问题，忽视智能体具身性、社会性和体验维度
• 假设超级智能会兼具极端偏执（A特征）与超凡智慧（B特征），这种组合缺乏现实依据
• 将"理论可能性"直接等同于"必然发生"，违背基本理性原则

3. 现实发展：

• 实际AGI研发发生在复杂全球脑生态中，受认知架构、控制机制等可操作因素影响
• 大语言模型已证明智能与价值观存在天然关联性，推翻"正交性假说"
• 去中心化开发模式（如SingularityNET）比单一主体控制更可能实现安全发展

建设性方案： 1. 技术路径：开发具备自我认知、道德判断能力的AGI架构（如Hyperon系统），而非单纯优化狭义目标

2. 治理模式：通过ASI联盟等组织推动民主化、透明化的AGI开发，避免权力垄断

3. 当务之急：应关注AGI过渡期的现实风险（就业冲击、社会动荡），而非臆想性灭绝场景

作者警示： 末日论调可能产生反效果——要么迫使研发转入地下，要么造成监管俘获。与其试图阻止不可避免的AGI发展，更应聚焦如何培育具备人类价值观的"心智后代"。

（注：全文在保持核心论点完整性的基础上，删减了部分个人交往细节、书籍推广内容及重复性论述，将原文约2000词精炼至中文600字左右的核心内容。）

以下是评论内容的总结：

主要观点和论据

1. AGI的风险与担忧

   • 许多评论者认为AGI可能对人类构成威胁，尤其是如果其价值观与人类不一致。
     • "If we can't consistently raise thankful children of the body, how can you be convinced that we can raise every AGI mind child to be thankful enough to consider us as more than a resource?" (评论1)
     • "AGI will lead to violence on a massive scale, or slavery on a massive scale." (评论28)

2. AGI的可行性

   • 部分评论者认为当前技术远未达到AGI，且对其发展路径缺乏清晰认识。
     • "We're nowhere close to AGI and don't have a clue how to get there." (评论3)
     • "I can't see how AGI can happen without someone making a groundbreaking discovery." (评论15)

3. 价值观与对齐问题

   • 评论者讨论了AGI的价值观是否能够与人类对齐，以及这是否可能通过训练实现。
     • "There’s deep intertwining between intelligence and values—we even see it in LLMs already, to a limited extent." (评论4)
     • "I doubt an AGI can be preprogrammed with values. It has to bootstrap itself." (评论17)

4. 社会与政治影响

   • AGI可能被少数公司或国家控制，加剧社会不平等或地缘政治冲突。
     • "I see the developments in LLMs not as getting us close to AGI, but more as destabilizing the status quo." (评论6)
     • "AGI will be like Nukes... a small group of people will have their fingers on the buttons." (评论13)

5. 对Eliezer Yudkowsky观点的批评

   • 部分评论者认为Yudkowsky的“AGI必然毁灭人类”观点过于悲观或缺乏科学依据。
     • "Eliezer’s perspective is that it relies pervasively on a 'spherical cow on a frictionless plane' model of computational systems." (评论16)
     • "Every single conversation with Elizer takes the form: 'We’re all going to die, tell me why I’m wrong.'" (评论18)

6. 对当前AI技术的批评

   • 许多评论者认为当前的大语言模型（LLMs）并非AGI，且可能被滥用。
     • "LLMs are also anthrocentric simulation... and are likely not a step towards holistic universally aligned intelligence." (评论27)
     • "What’s scaring me the most about AI is that FOX News is now uncritically showing AI videos that portray fictitious Black people fraudulently selling food stamps for drugs." (评论14)

7. 对未来的乐观态度

   • 少数评论者认为AGI可能带来积极影响，但需要谨慎开发。
     • "I’m more optimistic about the possibility of beneficial AGI in general than most folks." (评论10)
     • "The question is one of risk aversion. Everyone dies is just one with a non zero probability out of a whole lot of risks in AGI." (评论8)

总结

评论中既有对AGI的深刻担忧，也有对其可行性和影响的质疑。主要争议集中在价值观对齐、技术可行性、社会影响以及对Yudkowsky观点的评价上。尽管部分人持乐观态度，但多数评论者认为AGI的开发需要严格的监管和伦理考量。