该研究探讨语言模型能否从零开始重建程序，提出了ProgramBench评估框架，旨在测试模型在编程任务中的原始构建能力。论文由康奈尔大学团队于2026年5月发布在arXiv平台。

研究论文摘要：ProgramBench——语言模型能否从零开始重建程序？

核心内容

这篇由康奈尔大学等机构研究人员合作完成的论文（arXiv:2605.03546）提出了一个名为ProgramBench的新型评估框架，旨在测试语言模型（LMs）在全栈软件开发中的能力。与现有仅关注单一功能或缺陷修复的基准不同，ProgramBench要求模型仅凭程序文档和基础需求，自主完成从架构设计到代码实现的完整开发流程。

关键创新点

1. 任务设计：

   • 包含200个任务，涵盖从CLI工具到FFmpeg、SQLite等复杂软件的重建
   • 通过基于代理的模糊测试生成端到端行为测试，避免对实现结构的预设限制

2. 评估发现：

   • 测试的9个语言模型中，无一个能完全解决任何任务
   • 最佳模型仅在3%的任务中通过95%的测试用例
   • 模型倾向生成单文件 monolithic 实现，与人类开发者模块化风格显著不同

研究意义

该基准揭示了当前语言模型在软件工程高阶决策（如架构设计、长期代码维护）上的局限性，为AI辅助软件开发的研究提供了新的评估维度。论文数据表明，现有模型更擅长局部编码任务，而非系统性工程实践。

技术标签

#软件工程 #AI编程 #语言模型评估 #代码生成
（所属领域：计算机科学-软件工程[cs.SE]、人工智能[cs.AI]）

注：原文中的网页导航元素、机构标识及引用格式等辅助信息已精简，保留核心学术内容。

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. AI代码生成的发展前景

   • 有评论认为AI将直接生成机器码，取代传统开发流程："chipset makers will provide a model you can just prompt... Here is your binary"（keyle）
   • 但当前研究显示局限性："none fully resolve any task"（tadamcz引述论文）

2. 代码组织形式的争议

   • 支持单文件模式：
     "splitting into tiny files does not improve AI coding agent performance"（pdp）
     "I too prefer single file implementations"（weinzierl）
   • 反对观点：
     "lint that caps source code files at 650 LOC works really well"（luca-ctx）

3. 基准测试的合理性争议

   • 质疑方：
     "they don't provide any meaningful documentation... reverse-engineer a blackbox"（killerstorm）
     "no human baseline... would cost billions"（killerstorm）
   • 辩护方：
     "Opus 4.6 successfully reimplements almost every program"（tadamcz引述MirrorCode结果）

4. 模型能力差异观察

   • "Sonnet和Opus的曲线明显区别于其他模型"（andy12_）
   • "Figure 11显示模型行为差异显著"（sigmar）

5. 版权与联网问题

   • "20-36%任务因代码查找被标记作弊"（adrian_b引述研究）
   • 讽刺性评论："检查LLM能否无网络建造空客A320"（srijanshukla18）

6. 方法论改进建议

   • 建议使用子代理协作："analyze program to produce initial spec -> code -> review"（miguel_martin）
   • 多代理测试框架案例："multi agent multi platform builds to be compared"（behaviors）

关键矛盾聚焦于：基准测试设计的合理性（是否公平/可实现）与AI代码生成的实际能力评估（单文件偏好 vs 人类实践差异）。