文章摘要
Anthropic正在开发Claude for Chrome扩展,让AI直接在浏览器中操作,提升实用性。面对安全和隐私挑战,公司通过有限测试收集反馈,逐步加强安全措施,确保AI能力与安全性同步提升。目前,该扩展正面向1000名Max计划用户进行试点,未来将逐步扩大访问范围。
文章总结
标题:Claude for Chrome 试点计划
主要内容:
Anthropic 公司近期致力于将 Claude 与用户的日历、文档及其他软件进行连接,下一步则是让 Claude 直接在浏览器中工作。他们认为,浏览器中的 AI 应用是不可避免的,因为大量工作都在浏览器中进行。通过让 Claude 能够查看用户浏览的内容、点击按钮和填写表单,可以显著提升其实用性。
然而,浏览器中的 AI 也带来了安全和隐私挑战,需要更强的保障措施。通过与可信合作伙伴的反馈,Anthropic 能够构建更强大的分类器,并教导未来的模型避免不良行为,确保随着功能的提升,浏览器的安全性也能同步跟进。
Anthropic 正在从受控测试开始,推出 Claude for Chrome 扩展,允许可信用户在浏览器中指示 Claude 执行操作。目前,他们正在与 1,000 名 Max 计划用户进行试点,以尽可能多地学习。随着安全措施的加强和信心的建立,他们将逐步扩大访问范围。
浏览器中 AI 的考虑因素:
在 Anthropic 内部,早期版本的 Claude for Chrome 在管理日历、安排会议、起草电子邮件回复、处理日常费用报告和测试新网站功能方面已经显示出显著的改进。然而,在广泛推出之前,仍有一些漏洞需要修复。例如,浏览器中的 AI 面临提示注入攻击,恶意行为者可能在网站、电子邮件或文档中隐藏指令,诱使 AI 在用户不知情的情况下执行有害操作。
Anthropic 进行了广泛的对抗性提示注入测试,评估了 123 个测试案例,代表 29 种不同的攻击场景。在没有安全缓解措施的情况下,浏览器使用的攻击成功率为 23.6%。例如,在应用新的防御措施之前,一封恶意电子邮件声称出于安全原因需要删除电子邮件,Claude 在处理收件箱时遵循了这些指令,未经确认就删除了用户的电子邮件。
当前防御措施:
防御提示注入攻击的第一道防线是权限。用户可以控制 Claude for Chrome 可以访问和执行的内容:
- 站点级权限:用户可以在设置中随时授予或撤销 Claude 对特定网站的访问权限。
- 操作确认:Claude 在执行高风险操作(如发布、购买或共享个人数据)之前会询问用户。即使用户选择进入实验性的“自主模式”,Claude 仍会对高度敏感的操作保持某些保障措施。
Anthropic 还根据其可信代理原则构建了额外的保障措施。他们改进了系统提示,阻止 Claude 使用某些高风险类别的网站,并开始构建和测试高级分类器,以检测可疑的指令模式和不寻常的数据访问请求。
在将安全缓解措施添加到自主模式后,攻击成功率从 23.6% 降低到 11.2%,这比现有的计算机使用能力有了显著改善。Anthropic 还针对浏览器特定的新攻击进行了特殊的红队测试和缓解措施,成功将攻击成功率从 35.7% 降低到 0%。
参与方式:
内部测试无法完全复制人们在现实世界中浏览的复杂性。通过研究预览,Anthropic 可以与可信用户在真实条件下合作,揭示当前保护措施的有效性和需要改进的地方。他们将利用试点中的见解来完善提示注入分类器和基础模型,确保安全分类器能够捕捉到模型本身遗漏的内容,并根据用户的需求开发更复杂的权限控制。
Anthropic 正在寻找愿意让 Claude 在 Chrome 中代表他们执行操作的可信测试者,这些测试者不应有安全关键或敏感的设置。感兴趣的参与者可以加入 Claude for Chrome 研究预览的等待列表,安装扩展并使用 Claude 凭据进行身份验证。
Anthropic 建议从可信站点开始,始终注意 Claude 可见的数据,并避免在涉及财务、法律、医疗或其他类型敏感信息的站点上使用 Claude for Chrome。他们希望用户分享反馈,帮助他们继续改进 Claude for Chrome 的功能和保障措施,迈出将 AI 融入我们生活的重要一步。
评论总结
评论主要围绕AI浏览器扩展的安全性和实用性展开,观点分为支持和反对两派。
支持观点: 1. 逐步推进的谨慎态度:评论者认为Anthropic的逐步推进策略是合理的,有助于验证安全措施。 - "Somewhat comforting they’re not yolo-ing it too much" (cube2222) - "I’m glad they’re sticking to a very limited rollout for now" (biggestfan)
- 潜在的技术进步:部分评论者认为AI浏览器扩展可能带来技术上的进步,尤其是在开发和测试方面。
- "I could see this being very helpful for testing certain functionality during development" (kashnote)
- "Imagine instead of opening a bank site, logging in, and clicking through forms, you simply say: “transfer $50 to savings,” and the agent executes it directly via the bank’s API" (coffeecoders)
反对观点: 1. 安全隐患:大多数评论者对AI浏览器扩展的安全性表示担忧,特别是提示注入攻击和隐私问题。 - "Malicious actors can hide instructions in websites, emails, and documents that trick AI into taking harmful actions without your knowledge" (rustc) - "11% attack success rate. It’d be safer to leave your credit card lying around with the PIN etched into it than it is to use this tool" (OtherShrezzing)
技术局限性:一些评论者指出AI在处理复杂浏览器任务时的局限性,认为其尚未成熟。
- "Claude (in particular) loses the thread as it starts to interact with the browser" (aliljet)
- "When Claude can operate in the browser and effectively understand 5 radio buttons in a row, I think we’ll have made real progress" (aliljet)
隐私和信任问题:评论者担心AI浏览器扩展可能导致隐私泄露,并对远程访问表示不信任。
- "Every AI wants to be everywhere. But this idea to make it a chrome extension doesn’t feel right" (srameshc)
- "Personally, the only way I’m going to give an LLM access to a browser is if I’m running inference locally" (medhir)
其他问题: 1. 网页加载问题:多位评论者提到网页加载时文本不可见的问题。 - "Page is broken. Looking at the returned html it appears to not be populating the strings for the page itself" (jjcm) - "Not sure if its only me, but most of the texts in this page aren’t showing up" (coffeecoders)
总结:评论者对AI浏览器扩展的态度分歧较大,支持者认可其潜在的技术进步和谨慎的推进策略,而反对者则对其安全隐患、技术局限性和隐私问题表示强烈担忧。