共识(The Consensus)想推广软件基础设施的优秀技术写作,每日栏目、每周通讯与公开第三方信息流都会推荐文章。但辛西娅·邓洛普(Cynthia Dunlop)的调查显示,读者普遍厌恶 AI 写作的文章,甚至宁愿看“糟糕”的人类写作。我偶尔推荐的 AI 痕迹很重的文章会被网友指出,有些出自大谈适度、负责任使用 AI 的公司,令人失望。我也受不了点开炫酷标题却读到刺耳行文,只觉得浪费时间。
正文
The Consensus 的目标,是推动软件基础设施领域的优秀技术写作。除了自家文章,我们每天会在 At a glance 栏目推荐一篇有趣的文章,在免费周报里推荐更多,也在免费公开的第三方 feed 中筛选优秀技术文章。
但 Cynthia Dunlop 关于技术读者偏好的调查显示,人们压倒性地不喜欢 AI 写的文章,甚至宁愿读“糟糕”的人类写作,也不愿读“优秀”的 AI 写作。我偶尔推荐过一些后来被发现 AI 生成痕迹很重的文章,网友会在评论里直接点出来。有些 AI 痕迹极重的文章,偏偏出自那些公开大谈要在沟通中温和、负责任地使用 AI 的公司之手。(这挺让人失望。)
说实话,我也受不了读 AI 写的东西。在 feed 里随手点开一篇标题听起来很酷的文章,结果正文读起来很刺耳,让我很恼火,纯粹是浪费时间。
市面上有 Pangram 这类高质量的商业检测器,The Consensus 也为我付了订阅费。但对进入 feed 的每一篇文章都跑一遍 Pangram,在成本上根本不可行。所以过去一个月,我一直在做一个已经集成进网站的 AI 痕迹检测器。
它不是机器学习模型,只是一组静态规则,是通过对比 2023 年前与 2023 年后写作在诸多方面的差异,并考虑此后写作风格每年的漂移而建立的。
这个检测器并不能断定文章由 AI 撰写,它只是提示:这篇文章可能会让你联想到 AI 写作。这一点很重要,因为该检测器成本低,也不总正确。它甚至偶尔会把我自己的某些文章标成“相当确定有 AI 痕迹”。
装上这个检测器后,我们会给 feed 中 AI 痕迹分数处于第 99 百分位的文章打上标签。被打上这类标签的文章,没有资格出现在首页的每日 At a glance 栏目和我们的社交媒体上,没有资格获得 feed 页面上那枚表示文章可能有趣的 sparkle 图标,也不会被选进周报。
这能被绕过吗?教 AI 写得别那么像默认版本的 Claude 和 ChatGPT?当然能。而且说实话,那样反而挺好。因为一半的恼火在于,这些 AI 文章读起来全都一个样!如果每篇都由每个个体、每家公司带着自己的规则、偏好和个性去写,大概会让人舒服很多吧?
每家公司都有权决定自己在公开场合如何沟通。用 AI 写作并不代表这个人或公司就不好。目前我们也不会彻底过滤掉有 AI 痕迹的文章(不过你可以点击 sparkle 过滤器,或在 feed 搜索中设置 aitells<90 来排除它们)。但至少在我们主动免费推荐的文章上,我们希望那些文章是由人类认真写出来的。
评论
多数人质疑 AI 检测工具、相关偏好调查以及“是否人类所写”这一执念本身,少数人主张把标准转向奖励清晰、不套模板的好写作;另一条分歧主轴是检测与反检测是否只会陷入猫鼠游戏,以及非母语者与被 AI 文风“污染”的人类写作会不会被误伤。
认为不该再纠结文本是否 AI 所写,而应奖励清晰、不套模板的好写作
- 写作评价应聚焦是否易懂、有没有个人表达,而不是追究作者是人还是模型;连 AI 腔调也只该针对真正恼人的套路。看到文章里的小错别字和文体笨拙反而让人安心,说明人类痕迹仍有价值。(较多人) > 未来目标仍应是写作让人读得懂,且不依赖模板和其他恼人套路。(@Isamu)
认为针对 AI 写作的偏好调查不可靠,应看实际行为研究
- 人们自述讨厌 AI 文章、甚至喜欢“差”的人类写作,这类问卷不能反映真实偏好;判断 AI 写作的影响应靠行为研究或站点自身数据,而不是把问卷当事实。(少数人) > 用问卷问人们对经济的看法来推测投票可以,用它来判断经济本身就很蠢。(@pessimizer)
认为检测器与生成器会陷入猫鼠游戏,大众更看重速度和产量
- 每个 AI 痕迹检测器都会催生把文本改回人类风格的逆向工具,水印也一样;检测不会终结问题,只会让“真实性”变成一层额外商品——而用户其实更在意产出速度和数量,真实表达会像钢笔、打字机那样小众化。(少数人) > 人类更看重速度和数量,而不是真实性,所以真实性会变成另一层商品。(@minimaxa)
质疑“给每篇文章跑 Pangram 太贵”的说法,指出策展成本更高
- 如果文章多到自动化检测都嫌贵,那人工阅读、策展这些文章的成本只会更高;这恰好说明真正的问题是内容过量,而不是检测工具太贵。(少数人) > 读每篇文章比跑 Pangram 还贵;若文章多到 Pangram 都嫌贵,那人工策展更不可能,内容过量才是更大的问题。(@yorwba)
认为 AI 已经污染人类写作,连真人原创也会被误判
- AI 把原本还能接受的语言结构弄得令人反感,导致真人写作也被同化成 AI 腔,甚至需要专门“去 AI 化”处理;非母语者用 AI 翻译自己的真实想法后,也会被检测器当成 AI 写作,这类误伤几乎无法避免。(较多人) > 我用日语思考、让 AI 翻译成英文;如果这让我读起来像 AI,那我也没办法。(@piro0919)
认为出路是让 AI 学会像人一样写作,或定制出作者个人声音
- 与其只做检测,不如让 AI 真正学会人类写作;即便要用 AI,也应训练它模仿作者自己的语气,而不是直接发出千篇一律的模型腔。(较多人) > 如果一定要用 AI,写作者该训练它让自己的文章听起来更像自己,而不是照搬生成结果。(@haisin5555)
有价值的补充
- SlopShape(arXiv 2609.15369)据称不仅能区分人类与 AI,还能通过写作结构模式识别具体是哪个模型生成的;有人接着希望再有个“冗长无用内容”检测器,好把整个互联网都 GAN 成 xkcd 810 的 “Mission Accomplished”。(@corysama)
- 可玩或同类工具被点名:adamdunkels 的 is-it-slop,以及 Simon Willison 的 LLM cliche highlighter;后者被认为和本文讨论的检测器几乎是一回事。(@its-summertime、@woadwarrior01)
- 反直觉的数据点:招聘启事里的 AI 痕迹越重,公司实际给出的薪资反而越高,AI 生成岗位描述与更高报酬相关。(@Zaheer)
- 精巧类比:有人把“AI 写出没有刺耳模板痕迹的文字”和“Linux 桌面元年”比谁先到,暗示前者大概同样遥遥无期。(@layer8)