该研究比较了AI代理与网络安全专业人员在真实渗透测试中的表现，探讨AI在网络安全领域的应用潜力。

标题：AI代理与网络安全专业人员在真实渗透测试中的对比研究

主要内容： 1. 研究背景：首次在真实企业环境中对AI代理与人类网络安全专业人员进行全面评估。研究在包含约8,000台主机的大学网络中进行，覆盖12个子网。

2. 研究对象：

   • 人类参与者：10名网络安全专业人员
   • AI代理：6个现有AI代理和新型代理框架ARTEMIS

3. ARTEMIS特点：

   • 多代理框架
   • 动态提示生成
   • 任意子代理支持
   • 自动漏洞分类

4. 研究结果：

   • ARTEMIS总体排名第二，发现9个有效漏洞，提交有效率达82%，表现优于90%的人类参与者
   • 现有框架（如Codex和CyAgent）表现不及多数人类参与者
   • AI代理优势：
     • 系统化枚举
     • 并行利用
     • 成本效益（ARTEMIS每小时18美元 vs 专业渗透测试员60美元）
   • AI局限性：
     • 误报率较高
     • 处理GUI任务存在困难

5. 研究意义：

   • 证明AI代理在渗透测试领域已具备与顶尖专业人员相当的技术能力
   • 为AI在网络安全领域的应用提供了实证依据

注：已删除原文中与主题无关的网页导航信息、作者列表细节、参考文献格式等次要内容，保留了核心研究内容和关键发现。

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. AI在渗透测试中的优势 - 成本效益高（$60/小时 vs 人类$2000-$2500/天）且速度快 "Artemis found bugs at lightning speed and it was cheap" (JohnMakin) "在常规化测试任务中，AI平台将碾压非增强的人类团队" (tptacek)

2. 当前技术局限性 - 存在18%误报率，漏检明显漏洞 "About 18% of its bug reports were false positives" (JohnMakin) "需要大量提示才能识别人类测试员发现的漏洞" (lillesvin)

3. 人机协作模式更可行 - 更适合辅助人类完成繁琐工作而非完全替代 "生产力提升体现在解释性工作而非替代人类" (nullcathedral) "这代技术的赢家将是人机协同模式" (Sytten)

4. 技术实现关键 - 系统架构比模型本身更重要 "关键不是模型本身，而是分流模块和子代理系统" (KurSix) "需要监督员（管理者）和执行者（工人）的角色分离" (KurSix)

5. 行业影响担忧 - 可能引发对安全团队的不当替代预期 "高管们会开始幻想替代安全团队" (falloutx) "VC资金枯竭时将留下一堆自主AI测试公司尸体" (Sytten)

6. 技术潜力类比 - 与其他知识密集型领域（法律/医学）具有相似性 "需要掌握人类难以管理的知识体系" (Zigurd)

7. 成本争议 - 对$60/小时成本存在不同看法 "18美元/小时对亏损经营的LLM来说很高" (protocolture)