Signal总裁和副总裁警告称,当前操作系统级的自主AI存在严重安全隐患,包括数据易受恶意软件攻击、任务可靠性差、未经用户同意强制启用等问题,呼吁行业暂缓部署直至解决这些威胁。

标题：Signal总裁与副总裁警告：自主AI存在安全隐患且不可靠，或成监控噩梦

Signal公司高层在德国汉堡举行的第39届混沌通信大会（39C3）上发出行业警告，指出当前自主AI技术存在严重安全隐患、可靠性缺陷及隐私监控风险，呼吁行业暂缓部署直至威胁得到有效控制。

核心问题： 1. 安全隐患 - 微软通过Windows 11的"Recall"功能实现自主AI，该功能每几秒截屏并建立用户行为数据库 - 数据库包含完整操作时间轴、原始文本、应用停留时间等敏感信息 - 存在恶意软件攻击和间接提示注入攻击风险，可能绕过端到端加密

2. 可靠性缺陷

• AI代理基于概率模型，多步骤任务成功率呈指数级下降
• 10步任务（95%准确率）成功率仅59.9%
• 30步任务（90%准确率）成功率骤降至4.2%
• 最佳代理模型失败率高达70%

3. 隐私监控风险

• 当前技术无法确保隐私保护与数据安全
• 用户常被默认"加入"系统而未经明确同意

解决方案建议： 1. 立即停止鲁莽部署 2. 将"选择退出"设为默认选项 3. 要求AI公司提供完整透明的技术说明 4. 建立细粒度审计机制

行业警示： 若忽视这些警告，过度炒作的投资热潮可能导致消费者信任崩塌，危及自主AI技术的未来发展。

（注：原文中的个人简介及图片信息已根据编辑要求删除，仅保留核心内容的技术细节和行业观点）

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. LLMs作为安全风险被低估

   • 观点：LLMs的广泛应用带来了被低估的安全风险
   • 引用：
     "LLMs...are an incredibly underestimated risk vector" (apercu)
     "All the security risks...are meaningless now...Feels like the last 30 years of security research has come to naught" (suriya-ganesh)

2. 操作系统安全模型是根本问题

   • 观点：AI暴露了操作系统长期存在的隔离和信任问题
   • 引用：
     "This isn't an AI problem, its an operating systems problem" (alphazard)
     "Process isolation hasn't been taken seriously...Well designed security models don't sell computers" (alphazard)

3. 企业安全实践不足

   • 观点：企业缺乏对零信任和RBAC的实际执行
   • 引用：
     "nobody takes zero trust seriously...including huge companies with dedicated security teams" (tucnak)
     "Microsoft...allowed dangling long-lived tokens...resulted in compromise by state actors" (tucnak)

4. AI代理的可靠性问题

   • 观点：当前AI在企业的自主性存在风险，需要人工监督
   • 引用：
     "A system that works 90% of the time but hallucinates...isn't an 'agent', it's a liability" (MarginalGainz)
     "'human-in-the-loop' is a feature, not a bug" (MarginalGainz)

5. 隐私与监控担忧

   • 观点：AI系统可能成为监控工具，需强化隐私保护
   • 引用：
     "Risk? It's a surveillance certainty" (einpoklum)
     "Any data...going to these models needs to stay verifiably private" (ramoz)

6. Signal的立场争议

   • 观点：对Signal的安全绝对主义存在质疑
   • 引用：
     "what is Signal trying to sell us?" (apercu)
     "turn it over to CIA and NSA?" (z3ratul163071)

7. 技术解决方案的可行性

   • 观点：隔离和沙箱技术可能缓解风险
   • 引用：
     "execute the ai as a isolated user...I am pretty much good to go" (nwellinghoff)
     "Sandboxing is the big buzzword early 2026" (ramoz)

关键分歧：
- 风险根源：AI自身缺陷（评论1/3）vs. 操作系统设计失败（评论4）
- 解决路径：技术隔离（评论8）vs. 制度变革（评论6）vs. 隐私验证（评论10）

注：所有评论均未显示评分（None），故未纳入认可度分析。