一项随机对照试验发现，2025年初的AI工具反而使经验丰富的开源开发者在处理自己代码库时效率降低了19%。这一结果表明，尽管AI系统在快速进化，但在某些实际场景中，AI可能尚未显著提升开发效率。研究团队计划继续使用该方法评估AI研发自动化带来的加速效果。

文章主要内容总结

标题: 2025年初AI对经验丰富的开源开发者生产力的影响测量

发布时间: 2025年7月10日

研究背景: 本文通过一项随机对照试验（RCT）研究了2025年初的AI工具对经验丰富的开源开发者在处理自己代码库时生产力的影响。研究结果显示，使用AI工具的开发者在完成任务时比不使用AI工具时多花费了19%的时间，即AI工具反而降低了他们的工作效率。

动机: 尽管编码/代理基准测试在理解AI能力方面有一定作用，但它们通常牺牲了现实性以换取规模和效率。这些基准测试可能导致对AI能力的高估或低估。本文的研究旨在通过真实世界的实验，更好地理解AI对软件开发生产力的影响，特别是对AI研发自动化加速的潜在影响。

方法论: 研究招募了16位经验丰富的开发者，他们来自大型开源代码库（平均拥有22k+星标和1M+行代码），并已贡献多年。开发者提供了246个真实问题（如bug修复、功能添加和重构），这些问题被随机分配为允许或禁止使用AI工具进行处理。允许使用AI工具时，开发者可以选择任何工具（主要是Cursor Pro与Claude 3.5/3.7 Sonnet），禁止时则完全依赖人工完成。开发者完成任务时记录屏幕，并自报完成时间，研究支付每小时150美元的报酬。

核心结果: 使用AI工具的开发者在完成任务时多花费了19%的时间，这与开发者的预期和专家预测相反。开发者原本预计AI能提速24%，即使在实际体验了减速后，他们仍认为AI帮助他们提速了20%。

因素分析: 研究分析了20个可能解释减速的因素，发现其中5个因素可能导致了这一现象。

讨论: 本文的结果与AI基准测试的高分和广泛使用AI工具的传闻形成了对比。研究认为，不同的证据来源可能反映了模型能力的不同方面，但需要进一步的研究来调和这些差异。

未来展望: 研究团队计划在未来继续使用这一方法来跟踪AI对开发者生产力的影响，特别是随着AI系统的快速演进，这一方法可能比基准测试更难被操纵。

联系方式: 研究团队正在探索在其他环境中进行类似实验，欢迎有兴趣的开源开发者或公司联系他们。

1. 样本量问题：评论1指出样本量（16人）过小，建议增加参与者数量以验证结果。

   • "Very interesting methodology, but the sample size (16) is way too low."
   • "Would love to see this repeated with more participants."

2. AI对开发效率的影响：评论2和评论6讨论了AI可能带来的效率错觉，认为开发者可能低估了后续工作的时间。

   • "It’s tempting to time an AI with metrics like how long until the PR was opened or merged."
   • "I wonder if the discrepancy is that it felt like it was taking less time because they were having to do less thinking."

3. AI的学习曲线：评论17和评论19提到，AI工具的使用需要较高的学习曲线，熟练开发者可能从中受益，而新手可能被拖慢。

   • "The learning curve on AI-assisted development is high enough that asking developers to bake it into their existing workflows reduces their performance."
   • "I would expect someone using those regularly to benefit while someone who only played with them a couple of time would likely be slowed down."

4. AI在不同任务中的表现：评论21和评论25指出，AI在处理系统管理和设计讨论等任务时表现较好，但在复杂编码任务中可能不如开发者自己动手。

   • "For sysadmin kinds of tasks, working with less often accessed systems, LLMs can read --help, man pages, doc sites, all for you."
   • "I find myself having discussions with AI about different design possibilities and it sometimes comes up with ideas I hadn’t thought of."

5. AI对开源项目的负面影响：评论22提到，AI工具在代码审查中可能增加噪音，反而增加了维护者的负担。

   • "AI has only hampered things as code generation/scaffolding is probably the least of my concerns."
   • "Now I spend time deleting or hiding those comments in PRs, which means I have even less time for actual useful maintenance work."

6. AI的潜在好处：评论5和评论24认为，AI在技术债务管理和快速获取信息方面有显著帮助。

   • "AI is a savior, helping me keep up with rapid changes to dependencies, build systems, release methodology, and idioms."
   • "I use it like a know-it-all personal assistant that I can ask any question to; even [especially] the embarrassing, 'stupid' ones."

总结：评论中对AI在开发中的影响存在分歧，部分人认为AI能提高效率，尤其是在特定任务中，但也有人指出其学习曲线高、可能带来效率错觉，甚至增加维护负担。样本量小和任务选择的偏差可能是影响结果的因素。