编码智能体脚手架（coding harness）影响自主编码智能体（coding agent）把模型能力转化为长周期软件工程表现，但既有研究多把脚手架作为整体评估，各组件的作用并不清楚。为进行组件级比较，作者采用一套轻量编码脚手架，固定执行循环，只改变规划、动作空间和上下文管理。在四个模型上，基于 SWE-Bench Verified 与 Terminal-Bench 2.1 评测了 176 组匹配设置，覆盖五种上下文管理策略与四种上下文窗口预算。
正文
编程框架决定了自主编程智能体能把模型能力转化为长期软件工程表现的程度，但以往研究常把框架当作整体系统评估，各组件效果不明。为此，我们采用一个轻量框架，保持执行循环固定，仅改变规划、动作空间和上下文管理三个部件。
我们在 SWE-Bench Verified 和 Terminal-Bench 2.1 上测试了四个模型，对比 176 种匹配设置，涵盖五种上下文管理策略、四种上下文窗口预算，并对规划和动作空间做了针对性消融。我们发现：（1）上下文窗口预算越紧张，上下文管理越有价值，其收益主要来自避免上下文溢出失败；（2）在上下文管理策略中，先规则删减再做 LLM 总结的效率最高，而让删减内容可恢复会增加模型极少使用的机制，准确率无提升；（3）规划对弱模型是准确率支撑，对强模型则变成降本手段，准确率几乎不变；（4）预定义工具能提升 bash 薄弱模型的性能，而精通 bash 的模型仅靠 bash 接口就能有效工作，成本大幅降低，尤其在命令行类任务上。
轨迹层面分析解释了这些现象：上下文管理延长了执行轨迹，但基本不改变智能体行为；规划改变轨迹终止的位置；动作空间改变代码编写的粒度。这些发现有助于按模型和预算设计框架，并为评估后续组件提供了模块化框架。
评论
讨论总体肯定这项 harness 研究的价值，但核心分歧在于：没有通用最优 harness 是否意味着简单 bash 已足够，以及论文结论能否外推到当前前沿模型。较多人主张 harness 必须按模型、任务和预算条件选择，少数人则质疑研究模型覆盖、术语定义和基准代表性。
认为没有通用最优 harness，应按模型、任务和预算条件选择
- 汽车性能差异可能来自轮胎、变速箱、车重等，而不一定是引擎；同一模型也能用 ReAct-loop、plan-and-execute、RAG、无状态或有状态等不同 harness 实现，以权衡准确率与分析深度。（较多人） > 车 A 比车 B 表现好，不一定是引擎更好，也可能是轮胎、变速箱或车身更轻。（@gps372）
认为论文结论大多是直觉的重新包装
- 规划只对弱模型提升成功率且增加成本，对强模型主要降成本、甚至略降成功率；bash-only 对擅长 bash 的模型更好，预定义工具只是帮不擅长 bash 的模型，这些结论听起来过于显然。（少数人） > 这些结论在我看来都像是“废话”，虽然最后关于 harness 是有条件系统问题的结论我完全同意。（@embedding-shape）
认为同实验室的 harness 与模型搭配远好于通用组合
- 很多人把 harness、模型和提示词当成可互换组件，但实际质量和效率高度依赖 harness 与模型的组合；同一实验室出品的 harness 加模型体验明显更好，可能是因为训练下一代模型时用了自家轨迹。（少数人） > 同一实验室的 harness 加模型，体验远好于更通用的 harness。（@embedding-shape）
认为缺失 Qwen 与 DeepSeek 让研究对当前前沿参考有限
- 研究只覆盖 Nemotron 和 Mistral 系列，没有纳入当前便宜的中国模型以及 Claude、GPT 等大模型，因此结论与当下前沿脱节。（少数人） > 没测 Qwen 或 DeepSeek 是这项研究的一大遗漏。（@vblanco）
质疑“bash capable”没有定义，额外工具必须自证增益
- 论文反复说“bash capable”，却从未说明如何判断一个模型是否具备这种能力；如果 Luna 也算，那么任何超出 Bash 的工具都需要严格测试才能证明有额外价值。（少数人） > 论文说“bash capable”，却从没有描述这到底指什么。（@agentdev001）
认为前沿模型已不需要会话内规划工具
- Anthropic 在新模型上默认移除了 TaskCreate、TodoWrite 等任务跟踪工具，并给出环境变量恢复选项，显示前沿模型可能不再需要会话内规划工具。（少数人） > Anthropic 似乎认同前沿模型不需要会话内的规划工具。（@themgt）
认为极简 agent 在基准上不输复杂 harness
- 没有太多基准能证明复杂 harness 持续优于极简 agent；mini-swe-agent 只有约 100 行，被多个基准采用，在 TB3 仍排名靠前，但 TB4 没和最强模型一起评估。（少数人） > 没有太多基准显示复杂 harness 能稳定超过极简 agent。（@lieret）
认为基准排名不等于实践最佳，评估成本也是障碍
- 在 Frontier Harness 基准上跑出最高通过率，并不代表在实践中就是最佳 harness；同时跨模型、跨任务跑评估成本高到让人吃不消。（少数人） > 我在 Frontier Harness 上拿到最高通过率，但不相信这能换算成实践中的“最佳”。（@Aeroi）
有价值的补充
- 论文的具体条件结论包括：规划对弱模型提升成功率但增加成本，对强模型主要降成本、成功率略降；预定义工具提升 bash 控制弱的模型，bash-only 对 bash 能力强的模型成功率更高、成本更低；上下文管理在紧预算下最有益；规划能维持过早放弃任务的模型轨迹，并削减验证过久模型的重复验证；结构化工具支持 shell 不熟练的模型，bash-only 让强模型一次调用组合多个代码修改。
- Anthropic 在新模型上默认移除 Todo/任务跟踪工具，但保留环境变量开关，可作为“前沿模型不需要会话内规划”的佐证。
- mini-swe-agent 约 100 行，是极简 agent 的代表，被 DeepSWE、terminalbench、programbench 等基准采用，在 TB3 排名靠前，但 TB4 未用最佳模型评估。
- 律师工作流依赖 Adobe PDF pro 的 OCR 重排字体来编辑扫描件，这是 Linux 替代 Windows 的现实障碍之一。