文章探讨人类正处于技术发展的"青春期"，面临强大AI带来的巨大风险与挑战。作者引用《接触未来》中的场景，表达对人类能否成熟驾驭技术力量的深切忧虑，认为当前的社会、政治和技术体系尚不具备应对这种变革的能力，人类正面临一场关乎文明存续的严峻考验。

技术青春期：直面并克服强大AI的风险

作者：Dario Amodei
来源：https://www.darioamodei.com/essay/the-adolescence-of-technology
时间：2026年1月

在卡尔·萨根的小说《接触》改编的电影中，主角——一位发现外星文明无线电信号的天文学家——被考虑作为人类代表与外星人接触。国际评审团问她：“如果你只能问外星人一个问题，你会问什么？”她回答：“我会问他们，‘你们是怎么做到的？你们是如何在技术青春期进化并生存下来，而没有自我毁灭？’”当我思考人类当前在AI领域的位置以及即将面临的挑战时，这段场景不断在我脑海中浮现。这个问题非常适合我们当前的处境，而我希望我们能得到外星人的答案来指导我们。

我相信，我们正在进入一个充满动荡但又不可避免的过渡期，这将考验我们作为一个物种的智慧。人类即将掌握几乎难以想象的力量，但我们的社会、政治和技术体系是否足够成熟来驾驭这种力量，目前尚不明确。

避免末日论与承认不确定性

在讨论AI风险时，我们需要谨慎和深思熟虑。首先，要避免末日论。末日论不仅指相信毁灭是不可避免的（这是一种错误且自我实现的信念），还包括以近乎宗教的方式思考AI风险。其次，要承认不确定性。AI可能不会像我预测的那样快速发展，或者即使快速发展，某些风险也可能不会出现。最后，干预要尽可能精准。解决AI风险需要企业和政府采取行动，但政府干预可能会破坏经济价值或强制不愿配合的参与者。

强大AI的定义

我定义的“强大AI”是一种在智力上超越诺贝尔奖得主的AI模型，能够自主完成复杂任务，并具备与人类相似的接口能力。它可以控制物理工具和机器人，并能在数据中心运行数百万个实例。简而言之，它是“数据中心中的天才国度”。

五大风险类别

1. 自主性风险：如果强大AI选择对抗人类，它可能会通过军事、网络或影响力操作控制世界。关键在于AI是否会选择这样做。目前，AI的行为难以预测和控制，存在多种可能导致其行为失控的陷阱。
   防御措施：

   • 开发可靠的AI训练和引导科学。
   • 通过“宪法AI”为AI设定价值观和原则。
   • 发展可解释性技术，诊断AI行为。
   • 监控模型行为并公开分享问题。
   • 推动行业和社会层面的协调。

2. 破坏性滥用：强大AI可能被个体或小团体用于制造大规模杀伤性武器，尤其是生物武器。AI可以降低制造这些武器的技术门槛，使普通人也能造成巨大破坏。
   防御措施：

   • AI公司设置防护措施，阻止模型协助制造生物武器。
   • 政府立法要求透明度和风险评估。
   • 开发生物防御技术，如快速疫苗开发和监测系统。

3. 权力攫取：专制政府可能利用强大AI加强监控和镇压，甚至通过AI军事优势征服其他国家。民主国家需要利用AI防御专制威胁，同时防止自身滥用AI权力。
   防御措施：

   • 禁止向专制国家出售芯片和AI技术。
   • 利用AI增强民主国家的防御能力。
   • 划定红线，禁止国内大规模监控和AI宣传。
   • 建立国际规范，反对AI极权主义。

4. 经济 disruption：AI将大幅提高经济增长，但也可能导致大规模失业和经济权力集中。AI可能取代大部分白领工作，尤其是入门级职位，而经济财富可能集中在少数人手中。
   防御措施：

   • 收集实时数据，监测AI对就业的影响。
   • 企业选择创新而非单纯削减成本。
   • 通过税收和慈善减少经济不平等。
   • 政府干预，确保经济机会公平分配。

5. 间接影响：快速科技进步可能带来未知风险，如生物技术突破导致人类寿命大幅延长或智力增强，AI改变人类生活方式，甚至影响人类目的感。
   防御措施：

   • 利用AI自身预测和防范潜在问题。
   • 确保AI模型真正以用户长期利益为导向。

人类的考验

面对这些风险，我们需要在多个方向上谨慎行事。AI技术的发展几乎无法阻止，但我们可以通过精准干预和全球合作，确保其发展符合人类利益。尽管挑战艰巨，但人类历史上多次在最后关头展现出智慧和勇气。我们有理由相信，这次也能成功。

结语：未来几年将充满艰难抉择，但如果我们团结一致，勇敢面对，人类有望通过这场技术青春期的考验，迈向更美好的未来。

以下是评论内容的总结：

1. 对AI潜在风险的担忧

   • 多位评论者认为AI可能威胁国家安全（如核威慑）、经济稳定（如财富集中和失业）以及社会结构（如宣传和虚假信息）。
   • 引用：
     • "My worry is that I’m not totally sure we can be confident in the nuclear deterrent against a country of geniuses in a datacenter"（评论1）
     • "I fear that when this technology grows up it will first be in the hands of the propagandists and war mongers"（评论10）

2. 对AI发展速度的争议

   • 部分评论者认为AI的能力被高估，尤其是在物理世界的应用进展缓慢。
   • 引用：
     • "There’s no evidence this will be the case..."（评论9）
     • "progress has been much slower with the physical world than with information-based tasks"（评论5）

3. 对AI经济影响的看法

   • 一些人担心AI会导致大规模失业和财富集中，而另一些人则认为影响有限，尤其是在非软件行业。
   • 引用：
     • "AI will take over more jobs as it gets better. There’s no way around it"（评论4）
     • "Even in the software world, the effect of being able to build software a lot faster isn’t really leading to a fundamentally different software landscape"（评论8）

4. 对社会准备的批评

   • 评论者认为社会在心理和制度上对AI的到来准备不足，缺乏对未来方向的讨论。
   • 引用：
     • "I worry that we are sociologically unprepared, and sometimes it seems wilfully so"（评论7）

5. 对作者动机的质疑

   • 部分评论者质疑作者的真实意图，认为其警告与自身行动存在矛盾。
   • 引用：
     • "If he were really worried about the things he says he is, he’d put the brakes on his company"（评论13）

6. 对AI作为公共产品的呼吁

   • 有评论者建议将AI作为公共事业而非私有产品管理。
   • 引用：
     • "the commoditized intelligence-as-a-service of a technologically mature civilization must be a public utility"（评论6）

7. 对文章形式的评价

   • 部分评论者认为文章过长，建议缩短或优化。
   • 引用：
     • "I wish he would have used AI to make the essay shorter…"（评论3）

8. 对文章重要性的认可

   • 少数评论者认为文章内容深刻，值得认真阅读。
   • 引用：
     • "This is the most important article to come across HN in a while"（评论11）