Hacker News 中文摘要

RSS订阅

Anthropic举报用户日记 女子面临重罪指控 -- Anthropic reported diary entry to police, woman faces felony charge

佛罗里达州女子卡莉·米歇尔·海勒(Carli Michelle Heller)面临重罪指控,她将克劳德(Claude)当作日记,据称写下计划“扫射”警长办公室。人类审查员查看后报告警方。据9月26日逮捕报告,她称使用Anthropic(Anthropic)聊天机器人如同日记。克劳德安全系统标记该条目并转交人工,审查员认定威胁可信后联系执法部门。

正文

刚才发生了什么?

又一起事件表明,对AI说话得小心。一名佛罗里达女子面临重罪指控,她把Claude当日记用,据称写下计划“扫射”警长办公室。人工审核员查看了这些记录后,将其报告给了警方。

根据逮捕报告,佛罗里达州博尼塔斯普林斯的卡莉·米歇尔·海勒在9月26日写下将袭击警长办公室。她后来表示,自己把Anthropic的聊天机器人当“日记”用。

Claude的安全系统标记了该条目,并升级给人工审核员。审核员认定这是可信威胁后,报告给了执法部门。

该公司表示,在有限的紧急情况下,如果认为披露必要以防止死亡或严重人身伤害,可能会共享用户信息。

警员确认了海勒身份并上门,她在无冲突情况下被拘留,随后由李县警长办公室情报侦探接管调查。

图片1

海勒面临佛罗里达州法律规定的书面暴力威胁指控。佛罗里达法规836.10规定,发送、发布或传输威胁杀人伤人、实施大规模枪击或恐怖犯罪的书面或电子记录,属二级重罪。该通信必须以他人可能查看的方式进行。

Anthropic对任何它认为有潜在威胁的事都不敢掉以轻心。上月有报道称,不列颠哥伦比亚省起诉OpenAI和萨姆·奥尔特曼,称该公司本可阻止该加拿大省的一场大规模枪击。

枪手是18岁前学生杰西·范·鲁特塞拉尔,她此前因谈论枪支暴力被OpenAI安全团队标记,但OpenAI未报警,因为对话未达法律转介门槛。

今年6月,佛罗里达州也起诉了OpenAI和奥尔特曼,指控ChatGPT导致了现实危害,包括2025年佛罗里达州立大学枪击案。

这起最新事件再次提醒,在聊天机器人里输入可能惹祸的内容前要想清楚。它绝对不是仅供你一人阅读的私人日记。

评论

讨论气氛整体偏不安与警惕:多数人对"和聊天机器人说的话被拿去举报"感到不适,认为把日记当威胁起诉在法律上很勉强;分歧在于另一面——她据称写的是要"扫射"警长办公室,且 Anthropic 此前有过不报的先例压力,报与不报都是错。

认为日记不构成法律意义上的威胁

  • 佛州 836.10 要求把书面或电子记录"发送、发布或传输",且必须处于他人可查看的状态;仅仅写下来、还是写进日记,和"发出威胁"是两回事(较多人)
  • 有人直接质疑:如果日记能算威胁,那角色扮演圈要倒大霉了;把想法写给模型就构成犯罪,这是思想罪(较多人) > 她没有威胁任何人,她只是写下自己打算做什么;"威胁"不止是一句陈述,更何况那被描述为"日记"。(@apparent)

同情 Anthropic,但认为这暴露了"和大科技公司聊天"的本质

  • OpenAI 曾在类似情况下未报告枪手而挨了头条,从 Anthropic 视角看是报也挨骂、不报也挨骂(较多人)
  • 用户必须接受:对面不是你的秘密好友,而是大科技公司;LLM 之前谷歌文档里可以藏仇恨日记,现在所有内容都能在全球尺度上被自动筛查,而且监管者和"热心公众"会要求这么做(较多人)
  • 法律和负面舆论确实能左右前沿 AI 公司,只是这次的方向是隐私更少、而非更多(较多人)

任何做安全测试或角色扮演的人都在风险里

  • 有人为测模型拒答,几乎每月都问怎么造核弹;也有人为了验证自家公司的内部标记系统,故意说出人能说出口的最恶毒的话(较多人)
  • 真正的难题是模型分不清真心话和角色扮演,人类审查者读同样的文本也分不清,两者在字面上根本不可分(较多人)
  • 有一条玩笑话概括了这种普遍自嘲的社区情绪:该给"我每月问一次核武制造"编个更可信的说法了(少数人)

担心监控常态化,寄望于本地与开放权重模型

  • 如果开源模型最终被禁,未来会非常暗(较多人)
  • 如果她把开放权重模型跑在自己家里,这事就不会发生(少数人)
  • 人形机器人有摄像头和麦克风,会不会也被编程成看到你违规就举报,因为主人害怕被起诉(少数人)
  • 社交媒体旧帖被翻出清算之后,理性的人会开始掂量该往聊天机器人里倒什么(少数人)

认为对 Anthropic 的道德谴责是双标的

  • Anthropic 大规模抓取书籍、侵犯版权毫发无损,而一个在错误的地方写错话的普通女性人生被掀翻(少数人)
  • 由此推出:这类产品的实质是残酷,公司再自称"有伦理的 AI 公司"也站不住(少数人)

有价值的补充

  • 法条细节值得注意:836.10 属二级重罪,条文覆盖"以任何方式"可被他人查看的记录,检方显然在"任何方式"上做了字面扩张
  • 关键事实分歧在于内容性质:是要计划、求建议,还是像写日记一样宣泄情绪——不看原始聊天记录无法判断,这正是有人拒绝立刻站队的原因
  • 反事实假设很有意思:如果日记存在本地、由 Claude Code 扫描文件时发现会怎样?如果它扫描了本来无权查看的文件又发现威胁,责任又归谁?
  • 决策背景是现实的:曾有 AI 公司因未上报枪手而遭遇舆论围剿,这构成 Anthropic 举报的实际压力来源
  • 案件被起诉后,"用 LLM 当树洞"与"用 LLM 当同谋"的边界,可能要靠法庭而不是产品条款来划定