文章警告AI已在无意识状态下大规模影响人类行为，这种潜移默化的控制比超级智能的威胁更现实且可怕。作者认为人们过度关注AGI的定义争论，却忽视了非智能AI已具备操控社会的能力这一紧迫问题。

标题：你该感到担忧

发布日期：2025年10月3日

作者按：本文写于2023年3月，但直到2025年10月才发表。最初因担心被指责危言耸听而未发布，但随着Sora 2的推出，我决定分享这些思考。唯一遗憾的是没有在两年前发表。

AI正在大规模影响人类行为，这很可怕

近来，许多人表达了对通用人工智能（AGI）的恐惧。虽然这种担忧有其道理，但更可怕的是：AI不需要具备智能或意识就能控制社会。

人们往往更关注超级智能实体掌控人类的设想，却忽略了当下正在发生的危险。AI无论是否具有意识，都已跨越临界点，开始大规模影响人类行为。

最强大的语言模型已被释放

2023年3月23日起，OpenAI通过插件让ChatGPT无限制访问互联网。这些插件既能向ChatGPT输入数据，也能通过API让ChatGPT向现实世界输出内容。早期版本曾刻意限制互联网访问以防止滥用。

内容生成将实现自动化：由较弱模型生成提示词，再由强大模型产出内容，最后通过集成工具发布到社交网络等平台。内容效果会被测量并反馈优化，形成闭环循环。

这之所以可怕，是因为： - 语言模型比人类更擅长制造病毒式内容 - 生成多巴胺刺激的内容本质是量化计算 - 社交媒体的推荐算法本就影响巨大，而这些数据正是训练语言模型的基础

顶尖AI检测工具几乎无效且将持续恶化

目前没有可靠方法区分AI生成与人类创作的内容。研究表明： - 随着模型进化，AI与人类文本的差异逐渐消失 - 最先进的检测器也只能略优于随机猜测 - 这是一个正在失败的军备竞赛

预计一年内，我们将完全无法区分人工与AI内容（若能破解此难题将创造巨大财富）。这意味着2023年后，主流网络内容很可能都由AI生成。

音频视频同样面临风险，因为AI文本可由真人朗读。唯一保险的验证方式是面对面实时交流——但随着神经植入技术发展，这个窗口期也仅剩数十年。

反思

对此，我决定： 1. 不再轻信2022年后创作的内容 2. 除非能定量验证真实性

越来越多网民将丧失独立思考能力，他们的认知决策将完全基于AI生成内容。当受影响群体达到临界规模，AI就实现了对世界的实质控制。

这让我想起《黑客帝国》的台词：矩阵无处不在，它是笼罩现实的牢笼。讽刺的是，我们真正该恐惧的不是虚拟世界，而是生活在现实里却被机器操控思想。随着VR技术发展，完全脱离现实的那天似乎也不远了。

总结五大要点： 1. 语言模型已获实时互联网访问权限 2. AI内容在投入产出比上碾压人类创作 3. 检测AI内容的方法既不可靠且持续失效 4. 更多网民将在不知不觉中被AI"精神控制" 5. 长期累积的后果令人不寒而栗

只要接触网络内容，你的意识就不可避免会被AI影响。这不仅威胁信息可信度，更危及自由思想的未来。为此深感忧虑，也希望更多人意识到这个危机。

（注：原文中的技术参考文献链接予以保留但未译出）

以下是评论内容的总结，平衡呈现不同观点：

1. 支持对AI的担忧

• 认为AI内容泛滥将导致信息不可信，人们将回归权威信息来源（评论6："互联网将充满垃圾，人们会转向信任的权威获取真相"）
• 担心AI被少数人操控比自主AI更可怕（评论7："AI作为寡头代理比自主外星AI更可怕"）

2. 认为担忧被夸大

• 指出人类被操纵并非新现象，AI只是增加了噪音（评论16："人类自古就被操纵，AI只是让思考稍困难"）
• 认为AI内容容易被识别且不受欢迎（评论18："多数人讨厌AI内容，平台会过滤AI垃圾"）

3. 对解决方案的探讨

• 建议主动选择高质量内容而非被动消费（评论8："应上网学习技术而非消费内容"）
• 提出个人应对策略（评论22："制定LLM使用规则，培养元认知技能"）

4. 批评文章论点

• 质疑"AI内容更易上瘾"的前提（评论9："多巴胺输出优势缺乏证据支持"）
• 指出类似问题早已存在（评论15："社交媒体算法十年前就已如此"）

5. 对社会影响的观察

• 认为商业过度炒作AI（评论4："企业领袖们可悲地坚持必须使用AI"）
• 指出图像/视频模型可能比文本更具颠覆性（评论4："新兴图像模型将更 disruptive"）

6. 对未来的预测

• 悲观预测（评论6："回归可信信息世界的过程将痛苦混乱"）
• 乐观预测（评论18："人类内容终将因独特性胜过AI"）

关键分歧点在于：AI内容是否构成独特威胁（评论19："AI并不比百年来的可操纵媒体更独特" vs 评论7："AI代理操控特别可怕"），以及社会是否有能力自然适应（评论17："人们会像喊狼来了故事一样适应" vs 评论22："需要主动培养抗AI侵蚀的技能"）。