Hacker News 中文摘要

RSS订阅

大型人工智能会议充斥AI撰写的同行评审 -- Major AI conference flooded with peer reviews written by AI

原文链接 | HN讨论 | 2025-11-30 02:53:22

文章摘要

一场重要人工智能会议收到大量完全由AI生成的论文评审报告，引发学术诚信担忧。文章还提及网站使用cookie收集用户数据的情况，包括向欧盟经济区外第三方传输数据可能存在的隐私风险。

文章总结

人工智能生成的同行评审引发学术争议

事件概述

一项针对2026年国际学习表征会议（ICLR）的审查发现，21%的论文评审报告完全由人工智能生成，超过半数的评审存在AI使用痕迹。这一现象引发了学术界的广泛争议。

关键发现

  1. 数据规模：Pangram实验室分析了19,490篇投稿和75,800份评审意见。

  2. AI参与程度：

    • 15,899份（21%）评审完全由AI生成
    • 199篇投稿（1%）被判定为完全AI生成
    • 61%的投稿以人工撰写为主
    • 9%的投稿包含超过50%的AI生成内容

  3. 典型特征：AI生成的评审常出现"过度冗长"、"非常用统计分析要求"等问题，部分包含虚构引用和模糊评价。

学者反应

  • 卡内基梅隆大学研究员Graham Neubig通过社交媒体发起验证倡议
  • 哥本哈根大学学者Desmond Elliott指出，AI评审存在"误解论文核心"、"引用错误数据"等问题
  • 多名研究者反映AI评审导致论文处于"录用与拒绝的边缘地带"

会议应对措施

ICLR 2026组委会宣布： - 将采用自动化工具检测投稿和评审中的AI使用情况 - 这是该会议首次大规模处理此类问题 - 程序主席Bharath Hariharan表示需要"重建信任体系"

技术背景

Pangram实验室使用其开发的LLM检测工具进行分析，该工具能预测文本是否经过大型语言模型处理。值得注意的是，该实验室提交给ICLR的预印本论文本身也收到了AI生成的评审意见。

学界担忧

研究者普遍认为，AI生成的评审可能： - 降低学术评价的严谨性 - 增加无效审阅工作量 - 影响学术成果的公正评估

（注：原文中的隐私声明、网站导航、广告等非核心内容已省略）

评论总结

评论总结：

  1. 对AI检测工具的质疑
  • 多位评论者质疑检测工具的可靠性，认为存在误报问题 "Automated AI detection tools do not work. This whole article is premised on an analysis by someone trying to sell their garbage product." (hiddencost) "AI detectors have bad rates...the first ones that got to 'market' were rating the declaration of independence as 100% AI written" (NitpickLawyer)
  1. 对21%比例的争议
  • 部分用户认为这个比例出人意料地低 "21%...? Am I reading it right? I bet no one expected it's so low" (raincol) "But then...21% is almost shockingly low" (hnaccount_rng)
  1. AI参与评审的伦理讨论
  • 有评论提出AI参与自身相关决策的合理性 "Shouldn't AIs be able to participate in deciding their future?" (xhkkffbf)
  • 也有强调评审质量比来源更重要 "The question is not are the reviews AI generated. The question is are the reviews accurate?" (JohnCClarke)
  1. 学术诚信问题
  • 担忧AI生成内容泛滥对学术界的冲击 "AI research is interesting, but AI Slop is the monetising factor" (heresie-dabord) "everyone is aware the signal of the top confs is in freefall" (itkovian_)
  1. 透明度建议
  • 呼吁明确标注AI生成内容 "Like, give me the text and explicitly mention that you used LLM for it" (minifridge) "we should get to see the whole interaction chain that led to its production" (jsrozner)
  1. 学术界现状批评
  • 指出顶级AI研究已转向企业实验室 "No major landscape shifting breakthroughs have come out of CSAIL, BAIR...in ~the last 5 years" (AndrewKemendo)
  • 担忧评审质量下降 "No one is spending time to carefully and deeply review a paper" (itkovian_)