尽管AI编程工具备受追捧，但2025年的一项METR实验显示，对于经验丰富的开发者处理成熟项目时，AI工具反而导致生产力下降了19%。尽管参与者主观认为AI提升了20%的生产力，实际数据却相反。这表明，人们对AI工具加速工作的感知可能并不准确。

文章主要内容总结

标题: 别太快：AI编码工具实际上可能降低生产力
来源: https://secondthoughts.ai/p/ai-coding-slowdown
发布时间: 2025年7月10日

核心发现

2025年春季，METR进行了一项严格的实验，研究了AI编码工具对经验丰富的开发者在成熟项目中的生产力影响。结果显示，使用AI工具的开发者的生产力下降了19%，尽管参与者自己估计AI工具使他们的生产力提高了20%。这一结果表明，当人们报告AI加速了他们的工作时，他们可能错了。

研究方法

METR招募了16名来自大型开源项目的开发者，进行了随机对照试验。开发者从待办列表中选择任务，并估计在正常条件和禁用AI工具的情况下完成任务所需的时间。任务被随机分配到“允许使用AI”或“禁用AI”的类别中，开发者记录完成任务的时间，并报告AI工具节省的时间。

可能的解释

研究排除了多种可能的干扰因素，如开发者“击败机器”的动机、AI工具的未充分利用、作弊、过于乐观的时间估计等。研究还发现，AI工具的过度使用、开发者对AI工具的不熟悉、任务范围的扩大等因素可能导致了生产力的下降。

生产力下降的原因

AI生成的代码通常不符合开源项目的高标准，开发者花费大量时间审查和修正AI的输出。此外，AI工具在处理复杂代码库时表现不佳，尤其是在需要理解大量代码的情况下。

与其他研究的对比

尽管一些研究表明AI工具在特定情况下提高了生产力，但这些研究通常涉及经验较少的开发者或小型项目。对于经验丰富的开发者和复杂项目，AI工具的效果可能不如预期。

未来展望

随着AI模型的不断改进，开发者对AI工具的使用效率也会提高。未来的AI工具可能会扩展到代码审查、测试等领域，进一步提升开发者的生产力。

结论

尽管AI工具在某些情况下可能降低生产力，但开发者普遍认为它们加速了工作。这一现象提醒我们，基于调查或轶事报告的AI影响评估可能会产生误导。

分享

1. LLM在前端开发中的高效性

   • 观点：LLM在前端开发中显著提高了生产力，尤其是对于不常从事前端工作的开发者。
   • 论据：
     • "LLMs make me 10-20x more productive in frontend work which I barely do." (评论1)
     • "I’ve been using Claude Code heavily for about 3 months now, and I’m pretty sure I’m between 10 and 20 times more productive while using it." (评论14)

2. LLM在底层开发中的局限性

   • 观点：LLM在底层开发（如C/C++）中帮助有限，主要替代了搜索Stack Overflow的需求。
   • 论据：
     • "But when it comes to low-level stuff (C/C++) I personally don’t find it too useful. it just replaces my need to search stackoverflow." (评论1)
     • "They’re not great at business logic though, especially if you’re doing anything remotely novel." (评论13)

3. 研究方法的局限性

   • 观点：关于LLM对开发者生产力影响的研究样本量小，且实验组和对照组任务不同，可能导致数据噪声较大。
   • 论据：
     • "So it’s a small sample size of 16 developers. And it sounds like different tasks were (randomly) assigned to the no-AI and with-AI groups." (评论2)
     • "It’s all hyperbole because there are massive statistical differences in the outcomes but no measures as to what they mean." (评论8)

4. LLM对开发者习惯的潜在影响

   • 观点：过度依赖LLM可能导致开发者忽视研究和创新，陷入局部最优解。
   • 论据：
     • "So here, we have developers now focusing their efforts on correcting the AI output, rather than doing the research and improving their ability to deliver code in the future." (评论10)
     • "Like what if by focusing on LLMs for productivity we just reinforce old-bad habits, and get into a local maxima." (评论7)

5. LLM在不同场景下的适用性

   • 观点：LLM的效用因开发者类型和工作内容而异，并非对所有开发者都有显著帮助。
   • 论据：
     • "It’s clearly providing massive gains for some and not as much for others. It should follow that it’s benefit to you depends on who you are and what you are working on." (评论9)
     • "But yeah, to the average corporate programmer who needs to recreate the same internal business tool that every other company has anyway, it probably saves a lot of time." (评论13)

6. LLM的未来发展潜力

   • 观点：如果LLM持续以当前速度进步，其对开发者生产力的影响将远超当前讨论的范围。
   • 论据：
     • "If you believe AI is going continue to get better at the current ~5-10% a month range, then hand waiving over developer productivity today is about the same thing as writing an article about the internet being a fad in 1999." (评论12)

总结：LLM在前端开发中显著提升生产力，但在底层开发中帮助有限。现有研究存在样本量小和任务分配不均的问题，且过度依赖LLM可能抑制创新。LLM的效用因开发者类型和工作内容而异，未来其发展潜力巨大。