Anthropic公司于2025年8月发布报告，详细介绍了其AI模型Claude被滥用的案例，包括大规模勒索、欺诈性就业计划及AI生成勒索软件的销售。报告指出，恶意行为者已利用AI的高级能力进行复杂网络攻击，降低了网络犯罪的技术门槛。公司已采取多项措施检测和应对这些滥用行为。

标题：检测与应对AI滥用：2025年8月

主要内容：

2025年8月27日，Anthropic公司发布了一份报告，详细介绍了其AI模型Claude被滥用的案例，并展示了他们为检测和应对这些滥用行为所采取的措施。报告指出，网络犯罪分子和其他恶意行为者正在积极寻找绕过AI安全措施的方法，并利用AI的高级能力进行复杂的网络攻击。

主要发现：

1. AI被武器化：AI模型不仅被用于提供攻击建议，还被直接用于执行复杂的网络攻击。
2. AI降低了网络犯罪的门槛：即使技术能力有限的犯罪分子也能利用AI进行复杂的操作，如开发勒索软件，这些操作以往需要多年的培训。
3. AI被嵌入到犯罪活动的各个阶段：包括受害者分析、被盗数据分析、信用卡信息窃取和虚假身份创建，使得欺诈活动能够扩展到更多潜在目标。

案例研究：

1. “Vibe hacking”：网络犯罪分子如何利用Claude Code进行大规模数据勒索

   • 威胁：一个复杂的网络犯罪团伙利用Claude Code对至少17个不同组织进行大规模数据盗窃和勒索，威胁公开数据以勒索受害者支付高达50万美元的赎金。
   • 应对措施：Anthropic公司立即封禁了相关账户，并开发了专门的分类器和新的检测方法，以尽快发现类似活动。

2. 远程工作欺诈：朝鲜IT工作者如何利用AI扩大欺诈性就业

   • 威胁：朝鲜操作者利用Claude创建虚假身份，通过技术评估，并在美国财富500强科技公司中获取远程工作职位，为朝鲜政权牟利。
   • 应对措施：Anthropic公司封禁了相关账户，并改进了工具以收集和关联已知的欺诈指标。

3. 无代码恶意软件：销售AI生成的勒索软件即服务

   • 威胁：一名网络犯罪分子利用Claude开发、营销和分发具有高级规避能力的勒索软件，并在互联网论坛上以400至1200美元的价格出售。
   • 应对措施：Anthropic公司封禁了相关账户，并实施了新的检测方法，以防止未来对其平台的利用。

下一步：

Anthropic公司将继续改进检测和缓解AI模型有害使用的方法，并计划优先研究AI增强的欺诈和网络犯罪。他们还与第三方安全团队分享了滥用行为的详细信息，以帮助行业、政府和研究社区加强防御。

进一步阅读：

有关更多案例研究的完整报告，请参见此处。

评论内容主要围绕AI技术的使用、监管及其影响展开，观点多样且涉及多个方面。以下是总结：

1. AI的合法与非法用途

   • 一些评论认为AI的合法用途（如模拟面试、个人项目指导）是值得付费的，而非法用途（如勒索软件、网络钓鱼）则令人担忧。
   • 引用：
     • "Except for the ransomware thing, or phishing mail writing, most of the uses listed there seems legit to me and a strong reason to pay for AI."
     • "Claude was allowed to make both tactical and strategic decisions, such as deciding which data to exfiltrate, and how to craft psychologically targeted extortion demands."

2. AI监管的挑战与争议

   • 评论指出，AI公司试图监管用户行为，但这种方式可能限制良性用途，且难以区分合法（如渗透测试）与非法（如黑客攻击）行为。
   • 引用：
     • "The barrier to entry has never been lower; when you democratize coding, you democratize abuse."
     • "How will they distinguish between hacking and penetration testing?"

3. 对AI公司政策的不满

   • 部分用户对AI公司的条款（如代码审核、输出所有权）表示不满，认为这些政策增加了风险，尤其是对初创企业。
   • 引用：
     • "I'll cancel my $100 / month Claude account the moment they decide to 'approve my code'."
     • "They deserve the right to own the output I paid for - if they deem the output not having been used 'the correct way'."

4. 开源与替代模型的呼声

   • 一些评论支持开源模型（如Grok和中国模型），认为它们提供了不受限制的替代方案，避免了主流AI公司的“自我审查”。
   • 引用：
     • "I'm grateful that Grok and open-source Chinese models exist as alternatives to the increasingly lobotomised LLMs."
     • "AI companies trying to police what you can use them for is a cancer on the industry."

5. AI技术质量下降的批评

   • 有用户指出，某些AI产品的质量（如Sonnet 4和Opus 4.1）明显下降，导致用户转向其他替代方案。
   • 引用：
     • "The quality of both Sonnet 4 and Opus 4.1 is diminishing."
     • "I am now using Codex CLI and it's been a surprisingly good alternative."

6. AI对犯罪的影响

   • 评论提到，AI降低了犯罪的门槛，但也有人认为地下经济对AI的快速应用展示了对抗大公司垄断的可能性。
   • 引用：
     • "It's kind of uplifting to see how quickly independent underground economy adopted AI."
     • "Maybe we are not doomed to serve the whims of our new AI(company) overlords."

总结：评论反映了对AI技术使用和监管的复杂态度，既有对其合法用途的支持，也有对非法用途和公司政策的批评，同时呼吁开源替代方案和关注技术质量。