该论文提出了SkillsBench基准测试框架，用于评估智能体技能在不同任务中的表现。通过构建多样化任务集，该研究旨在系统评估智能体技能的通用性和适应性，为AI系统性能评估提供新方法。

标题：SkillsBench：评估智能体技能在不同任务中的表现

来源：arXiv
发布时间：2026年2月16日

主要内容：
由Xiangyi Li等众多学者合作的研究提出了SkillsBench基准测试，旨在系统评估智能体技能（Agent Skills）对大型语言模型（LLM）代理在推理时的辅助效果。该研究覆盖了11个领域的86项任务，通过三种条件进行测试：无技能、使用预设技能以及模型自生成技能。

研究结果显示：
1. 预设技能平均提升任务通过率16.2个百分点，但效果因领域差异显著（如软件工程领域仅提升4.5个百分点，而医疗领域提升达51.9个百分点）；
2. 16项任务出现技能使用负收益；
3. 模型自生成的技能未表现出明显优势，表明当前模型尚无法可靠地创建其所需的程序性知识；
4. 包含2-3个模块的聚焦型技能表现优于综合性说明文档；
5. 配备技能的小模型可达到无技能大模型的性能水平。

该研究通过7,308次测试轨迹验证了7种代理模型配置，为智能体技能的开发与应用提供了重要基准。论文已提交至arXiv预印本平台，属于人工智能（cs.AI）领域的研究成果。

（注：编辑过程中删减了作者列表、提交历史等次要信息，保留了核心研究方法和关键结论，并对技术细节进行了通俗化表述。）

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

主要观点总结

1. LLM自我生成技能的局限性

   • 多层级自动化会导致质量下降，人类监督是关键："The general rule seems to be, the more layers you automate with LLMs, the worse each successive layer gets" (embedding-shape)
   • 单纯自我生成技能是低价值的："Self-generated skills provide negative benefit (-1.3pp)" (secbear)

2. 有效技能需结合人类干预或外部知识

   • 技能应记录模型未知信息："Claude should document... information that is outside of its training data" (colonCapitalDee)
   • 人类协作能显著提升效果："human-curated ones help a lot (+16.2pp)" (secbear)

3. 技能的实际应用价值

   • 可作为工作流专用指南："useful for capturing instructions on how to use other tools" (turnsout)
   • 需持续迭代优化："ask it to reflect on why, and update the Skill to clarify" (turnsout)

4. 研究设计的争议

   • 论文方法脱离实际："they don’t allow the model any tool access at all" (rahimnathwani)
   • 标题可能误导："the title is editorialised... for clicks" (alexhans)

5. 技术发展方向

   • 需建立评估体系："how to evaluate the quality of a given skill file is quite interesting" (pizza)
   • 小型化与确定性更重要："Small models will always outperform as they are deterministic" (getoffit)

关键分歧点

• 支持技能生成的观点：认为技能能优化工作流（turnsout），且人类协作可突破限制（rriley）
• 质疑技能生成的观点：指出自我重复无价值（colonCapitalDee），且研究条件不现实（rahimnathwani）

典型引用

• "Skills seem to be a crutch until we get continual learning" (small_model)
• "Agentic coding is the future, but people have not yet adapted" (CharlieDigital)

（总结字数：约500字，覆盖20条评论的核心论点）