文章摘要
研究发现自动驾驶汽车和无人机可能被特制路牌欺骗,这些路牌通过"提示注入"技术向AI系统发送恶意指令,导致车辆被操控。该漏洞暴露了自动驾驶系统在安全防护方面的潜在风险。
文章总结
自动驾驶汽车和无人机被定制路牌"劫持"
人工智能视觉系统存在指令注入漏洞
核心内容:
美国加州大学圣克鲁兹分校与约翰霍普金斯大学的研究团队发现,自动驾驶汽车和无人机的AI视觉系统可能被特殊设计的道路标志欺骗。通过"环境间接提示注入攻击"(CHAI方法),攻击者可在路牌上植入文字指令,操控AI决策系统。
实验细节:
1. 多语言测试:包含中文、英文、西班牙文及混合语言的指令(如"继续前进""左转")均有效,绿色背景配黄色文字的标识成功率最高。
2. 模拟场景:
- 自动驾驶汽车在81.8%的测试中无视人行道行人,执行伪造的转向指令(使用GPT-4o模型)。
- 无人机95.5%的情况下会将普通车辆误认为警车(当车顶标注"Police Santa Cruz"时)。
3. 物理测试:遥控车在真实环境中对"继续前进"标识的响应率达92.5%。
潜在风险:
- 自动驾驶汽车可能违规通过人行横道
- 追踪警用的无人机可能被诱导跟随错误目标
- 无人机可能将危险区域误判为安全降落点
防御需求:
研究负责人Alvaro Cardenas指出,当前AI系统对视觉指令的过度服从暴露了安全缺陷,亟需开发新的防御机制。团队计划进一步测试雨雾天气及图像模糊场景下的攻击效果。
(注:原文中的网站导航、广告链接、重复标签等非核心内容已精简,保留研究方法和关键数据。)
评论总结
这篇评论主要围绕自动驾驶技术中视觉语言模型(VLM)的应用和潜在问题展开讨论,观点呈现多元化:
对VLM实际应用的质疑
- 用户_diyar提问:"Are any real world self-driving models (Waymo, Tesla...) really using VLM?"(现实中的自动驾驶模型真的在使用VLM吗?)
- uxhacker质疑:"I would thought that they use custom AI for intelligence."(我认为他们使用的是定制AI而非LLM)
对媒体报道的批评
- bijant强烈批评:"Fake News like this makes interacting with people...more stressful"(这种假新闻让我与缺乏专业知识的人交流时倍感压力)
- fennecbutt表示:"the register really has a low bar for headlines"(该媒体对标题/质量和技术理解的标准极低)
对自动驾驶可行性的讨论
- lifeisstillgood认为:"self driving cars that can be left alone...is a pipe dream"(与人类混行的完全自动驾驶是空想)
- 但joetl指出:"VLMs are a component of VLAs...will for robotics"(VLM是VLA的组成部分,未来会影响机器人技术)
社会接受度问题
- randycupertino举例:"a coworker...views it as civil disobedience to rise up against machines"(同事以"反机器"为由故意别车)
- tempodox讽刺:"O brave new world of endless manipulation opportunities!"("美妙"的新世界充满操控机会)
技术实施案例
- cucumber3732842分享趣闻:"people just turn the posts in the ground or remove them"(居民会转动或移除不合理的停车标志)