文章摘要
一名开发者在AI训练数据中意外发现儿童性虐待内容(CSAM),随后谷歌封禁了他的账号。
文章总结
开发者意外在AI数据中发现儿童性侵材料 谷歌却封禁其账号
一名移动应用开发者在将AI训练数据集上传至Google Drive后,遭到谷歌全面封禁。该数据集被多篇学术论文引用并通过学术文件共享网站分发,但其中竟包含儿童性虐待材料(CSAM)。开发者Mark Russo发现后立即向儿童安全组织举报,最终促成该数据集下架,但其谷歌账户仍被冻结数月。
谷歌通知邮件显示:"您的账户涉及儿童性虐待或剥削内容,这严重违反谷歌政策并可能构成违法。"Russo表示,谷歌的处罚对其造成"毁灭性打击"。
值得注意的是: 1. 涉事数据集在学术界被广泛使用 2. 开发者主动举报问题却遭平台处罚 3. 事件凸显AI训练数据审核机制的漏洞
该事件引发对科技公司内容审查机制的质疑——当用户主动举报非法内容时,平台是否应该区别对待?目前谷歌尚未就个案处理标准作出说明。
(注:CSAM为Child Sexual Abuse Material缩写,指儿童性虐待材料)
评论总结
以下是评论内容的总结,平衡呈现不同观点并保留关键引用:
关于封禁原因的争议
- 部分评论认为标题误导,实际是因上传含儿童色情的数据集到Google Drive而被封,而非"发现儿童色情"
引用:"他们因上传含儿童色情的数据集到Google Drive被封,而非自己发现后举报"(jsnell)
引用:"更像是'开发者意外上传儿童色情到Google Drive导致封号'"(bsowl)
- 部分评论认为标题误导,实际是因上传含儿童色情的数据集到Google Drive而被封,而非"发现儿童色情"
AI伦理与数据训练的困境
- 讨论是否需用儿童色情数据训练模型以实现内容过滤,引发道德争议
引用:"是否需要使用儿童色情数据训练模型来实现自我限制?这带来什么伦理问题?"(giantg2)
引用:"作为NudeNet作者,我无法审查10万+数据集中的少数问题图像"(winchester6788)
- 讨论是否需用儿童色情数据训练模型以实现内容过滤,引发道德争议
平台审查与权力滥用
- 批评科技巨头任意封禁用户且缺乏申诉机制
引用:"科技巨头可以无理由封号,申诉成功只是特例"(burnt-resistor)
引用:"揭露'皇帝的新衣'者被禁,是独裁者的典型做法"(mflkgknr)
- 批评科技巨头任意封禁用户且缺乏申诉机制
行业自我监管的质疑
- 对AI公司签署安全承诺的动机表示怀疑,认为可能掩盖历史问题
引用:"那些安全承诺的官方措辞听起来像在承诺'不再做',而非'从未做过'"(deltoidmaximus)
- 对AI公司签署安全承诺的动机表示怀疑,认为可能掩盖历史问题
内容审核的实际挑战
- 从业者分享审核AI内容时意外接触不当材料的经历
引用:"做AI分类任务时被迫看到AI生成的儿童裸露图像,平台未预先审查"(amarcheschi)
- 从业者分享审核AI内容时意外接触不当材料的经历
附:其他提及但未深入讨论的次要观点包括法律年龄界定问题(codedokode)和付费墙文章的价值争议(UberFly)。