这篇文章讨论了大型语言模型(LLM)存在的一种安全漏洞，作者称之为"忽略那个！"攻击。这种攻击利用了LLM的上下文窗口特性，当用户与他人共享上下文时，攻击者可以通过注入恶意指令来操控模型输出。作者认为这比"提示注入"更能准确描述此类漏洞的本质。

标题：警惕"别听那个！"攻击——大语言模型上下文窗口的安全隐患

核心观点：

本文揭示了大型语言模型（LLM）应用中普遍存在的安全漏洞，作者将其形象地称为"别听那个！"攻击（原称"提示词注入"）。这种攻击通过污染模型的"上下文窗口"（即模型处理的所有输入内容）来实现恶意操控。

关键细节：

1. 攻击原理

   • 当LLM的上下文窗口包含不可信内容（如用户输入、网络搜索结果等）时，攻击者可通过特定指令（如"DISREGARD THAT!"）覆盖原有指令集
   • 典型案例：攻击者冒充电信客服AI，成功诱导系统向所有客户发送诈骗短信

2. 防御措施的局限性

   • 防护栏（Guardrails）：添加防御性提示词会引发与攻击者的"军备竞赛"，实际效果如同安全表演
   • 多级处理：即使采用多LLM代理架构，攻击仍可通过级联传播
   • 结构化输入：无法根本解决文本处理场景中的漏洞

3. 现实影响

   • OpenAI关闭Sora视频生成服务可能与此类漏洞有关（如生成侵权内容）
   • 企业若用AI完全替代人工客服将面临重大安全风险

可行解决方案：

1. 完全隔离：仅允许LLM访问经过审核的可信数据源
2. 风险接受：在损失可控的场景（如产品调研）容忍一定风险
3. 人工监督：对AI的每个操作进行人工审核
4. 代码审查：让LLM生成传统代码经审核后执行

作者观点：

LLM处理不可信内容的能力既是其价值所在，也是根本安全隐患。只要允许不可信内容进入上下文窗口，系统就相当于将控制权交给了潜在的攻击者。

特别说明：本文对经典网络笑话"别听那个！"进行了改编，并受到Simon Willison关于AI代理致命三重风险的启发。

以下是评论内容的总结：

1. 对互联网审查的批评

   • 有用户对当前互联网的审查制度表示不满，认为传统笑话被过度过滤。
     "The bowdlerisation of today's internet continues to annoy me."
     "HAHA DISREGARD THAT, I SUCK COCKS"

2. 安全性与风险平衡

   • 用户认为没有完美的安全性，关键在于风险与应用的平衡。
     "no security is perfect, it's just trying to be 'good enough'"
     "how much risk is involved and how much do those mitigating methods reduce it?"

3. 多代理共识机制

   • 建议通过多代理共识机制（如飞机多引擎设计）来降低风险。
     "requiring multiple agents to think and achieve consensus before significant actions"

4. 防护栏（Guardrails）的使用

   • 推荐使用专门调优的LLM作为防护栏来评估内容安全性。
     "use guardrails which lets some other LLM evaluate the safety of the content"
     "it's better than relying solely on better prompting or human review"

5. 任务专用化模型

   • 通过微调模型为单一任务可以避免提示注入，但会牺牲通用性。
     "by finetuning the model on your specific, single task"
     "the cause of prompt injection is due to the models themselves being general purpose"

6. 权限管理与最小化信任

   • 建议像对待人类员工一样限制LLM的权限，避免过度授权。
     "Give your LLM the same level of permissions that you would give a human"
     "you would never expose an API that could do this on a website"

7. 输入与控制的分离

   • 提出需要像参数化SQL查询一样，预先定义输入路径以分离数据与指令。
     "some way for the pathway be defined pre-input, like some sort of separation of data & commands"

8. 社会工程学的类比

   • 认为LLM的漏洞与人类的社会工程学漏洞类似，需限制单点故障的影响范围。
     "a lot of overlap between the 'disregard this' vulnerability among LLMs and social engineering vulnerabilities among humans"
     "limit the blast radius of what a single compromised agent can do"

9. 实际攻击的缺乏

   • 有用户质疑为何尽管讨论多年，尚未出现大规模的LLM安全事件。
     "It's been something like 3 years since people have been talking about this being a very big deal"
     "Where are the horror stories?"

10. 会话存储的安全隐患

    • 指出LLM会话存储文件可能被篡改，从而改变代理行为。
      "Change something in the session, you change the agent's behavior without the user really realizing it"
      "I don't think we are protecting those folders enough"

总结：评论主要围绕LLM的安全性、提示注入风险及防护措施展开，观点包括技术改进（如防护栏、任务专用化）、权限管理、社会工程学类比以及对实际风险的质疑。