Hacker News 中文摘要

RSS订阅

一项关于拖延症的重要研究中存在欺诈的证据 -- Evidence of Fraud in an Influential Study About Procrastination

一项关于拖延症的重要研究被指存在数据造假。该研究原发表于2002年,称外部设定截止日期能提升任务表现,但近期未能被成功复制。调查发现原始数据存在重复行等异常,质疑其结论真实性。

正文

好的,以下是根据您的要求,对原文主要内容的中文重述,已保留关键细节并删减了与主题无关的内容:


标题:[138] 人为设定的截止日期(第一部分):一项关于拖延症的 influential 研究存在数据造假证据

一项发表在《心理科学》上的新研究,未能成功复制艾瑞里与沃滕布罗赫在2002年发表的关于拖延症、截止日期与绩效的经典研究中的实验二。原研究声称,当每项任务都有外部强加的截止日期时,人们的绩效优于自行设定截止日期或所有任务在最后一天截止的情况。该论文引用超过2100次,影响深远。

由于该研究影响力巨大,有必要仔细审视原始数据以理解为何无法复制。我们进行了这项分析。

大约20年前,复制研究的作者之一凯尔·海因德曼收到了来自艾瑞里MIT邮箱的原始数据文件。大约3年前,海因德曼将这些文件转发给了我们。我们进行了初步分析,并与海因德曼及其合著者进行了交流,得知他们正在进行复制研究。

我们最近得知他们的复制研究即将发表,并从中了解到:应编辑要求,他们曾与艾瑞里分享了对原始数据文件的分析结果,并请求允许在论文中引用,但遭到艾瑞里拒绝,理由包括这些文件可能并非真实数据,且他未提供任何额外数据。

这促使我们重新审视这篇论文,并对两个主要研究的原始数据进行了全面分析。我们得出结论:研究一和研究二的数据均被篡改。本贴聚焦于未能成功复制的实验二。

我们的评估完全基于下文呈现的分析。读者可自行审视证据并得出结论。

据我们所知,沃滕布罗赫从未接触过任何版本的研究数据。我们相信,正是因为他,我们才能获得这些数据。当海因德曼在2006年联系作者时,沃滕布罗赫回复邮件,将数据文件转发给了他。

我们的ResearchBox中包含了重现本贴所有结果的数据和代码。

最后,当我们几周前将本贴分享给艾瑞里和沃滕布罗赫时,他们已联系《心理科学》要求撤回该论文。截至本文撰写时,该流程正在进行中。

未能成功复制的研究:艾瑞里与沃滕布罗赫(2002)的实验二

该实验探究截止日期如何影响绩效。作者假设,在多项任务情境下,均匀分布的截止日期比所有任务在最后一天截止更能提升绩效。

实验采用激励性的校对任务。每位参与者需校对三份各10页、每份含100个语法和拼写错误的文档。60名参与者被随机分配到三个条件组,每组恰好20人:

  1. 均匀截止日期组:每周交一份文档,分别在7、14、21天后截止。
  2. 自行设定截止日期组:参与者在21天内自行选择截止日期。
  3. 最后一天截止日期组:所有三份文档在第21天截止。

结果完美且强烈地支持了作者的假设。均匀截止日期组的参与者在绩效、延迟和收入方面均表现更好。

我们拥有原始数据吗?

我们拥有海因德曼在2006年从艾瑞里MIT邮箱收到的三个Excel文件(包含预实验、实验一和实验二的数据),文件属性显示“最后保存者”为“Dan Ariely”。利用这些文件,我们能够重现上述图表中所有九个均值和九个标准误,以及文中报告的另外六个均值。

四个主要危险信号

危险信号一:效应量过大 均匀截止日期组平均校正136.1个错误,而最后一天截止日期组平均仅71.1个,效应量Cohen's d = 2.5,组间相关系数r = .79。这个效应量甚至大于性别对身高的影响(d ≈ 1.8)或对拥有鞋子数量的影响(d ≈ 1.2),也大于一些操纵检验的效应量。对于校对错误检测这种噪音大、个体差异大的测量指标而言,如此巨大的效应量极不寻常。两组数据的分布几乎不重叠。

危险信号二:重复观测值 在最后一天截止日期组的20名参与者中,有18人拥有一个“校正双胞胎”——即另一名参与者在三份校对任务中发现的错误数量完全相同。有趣的是,这些“双胞胎”的参与者ID号恰好相差10。其他两个条件组中不存在这种现象。如此多重复观测值仅出现在一个条件组中,与真实数据不符。

危险信号三:理应高度相关的变量之间毫无关联 原研究要求参与者评估校对任务的主观体验(如喜欢程度、趣味性等)。在复制研究中,这些主观评价之间高度相关(如喜欢与趣味性的偏相关系数接近完美)。但在原始数据中,这些关系完全不存在,偏相关系数在-0.29到+0.18之间,无一显著。同样,在三项相似任务上的绩效之间、以及报告花费的时间之间,在复制数据中均高度相关(r > +0.74),但在原始数据中相关性极低(r < +0.27)。这些“合理性检查”表明原始数据异常。

危险信号四:自我报告的时间没有取整 当人们估计花费的时间时,通常会取整(如说“20分钟”而非“17分钟”)。在复制研究中,85%的报告时间为整数。但在原始数据中,仅11.7%为整数,与随机期望的10%相符,这不符合人类行为模式。

结论 我们无法为上述所有异常现象找到合理的解释。原始发现效应量过大且无法复制;存在重复观测值;理应很强的相关性不存在;理应取整的数值未取整。基于这些证据,我们认为艾瑞里与沃滕布罗赫(2002)实验二的数据被严重篡改或伪造,以产生期望的结果。

作者反馈 - 沃滕布罗赫:感谢复制研究,重申自己从未接触过数据,并已要求编辑撤回论文。 - 艾瑞里:未回复我们的邮件,但在领英和个人网站上声明,已意识到2002年论文的数据存在严重异常,将配合期刊进行审查和撤稿流程。 - 复制研究作者:要求我们声明,他们仅提供了数据文件,未参与我们的分析或本贴撰写,其独立复制研究基于新收集的数据。 - 《心理科学》主编:表示期刊正在根据COPE指南考虑下一步行动。

评论

根据评论内容,总结如下:

主要观点与论据:

  1. 对Dan Ariely研究的质疑(评分:无,但多篇评论高度认可)

    • 评论指出Ariely的研究存在数据造假问题,且杜克大学未与其切割。
    • 关键引用:
      • “Dan Ariely has a long history of controversies and studies with falsified data.”(Aurornis)
      • “Dan Ariely remaining at Duke... is at least as big a black mark for Duke.”(ProjectArcturis)
  2. 对截止日期有效性的反思(评分:无,观点中立)

    • 评论认为文章和复制研究挑战了“截止日期有积极效果”的常识,但未提出建设性替代方案。
    • 关键引用:
      • “I’m left wondering what the constructive alternative is to deadlines.”(hnacct2001)
  3. 对科学复制危机的批评(评分:无,多篇评论高度认可)

    • 评论强调研究需独立复制,并呼吁公开数据以遏制欺诈。
    • 关键引用:
      • “No paper should ever be referenced until it has been replicated by an independent group.”(freediddy)
      • “Submit the data on a public link with no paywall.”(ghm2199)
  4. 对普通读者识别问题研究的建议(评分:无,观点中立)

    • 评论探讨如何让非专业人士更容易识别可疑研究,如关注效应量(Cohen’s d)等指标。
    • 关键引用:
      • “How can more laymen... learn to more easily identify questionable/potentially fraudulent research?”(csnover)

平衡性说明:
- 多数评论对Ariely的研究和科学复制危机持批评态度,但部分评论(如hnacct2001)对截止日期问题持开放态度,未完全否定其价值。
- 评论未出现明显支持Ariely或反对复制研究的观点,整体偏向质疑与改进建议。