Hacker News 中文摘要

RSS订阅

Claude、Codex 与 Cursor 选什么工具?1.7万次运行实测揭晓 -- Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out

随着编码代理接管越来越多开发环节,从零基础到资深工程师都依赖代理选择代码库中的服务实现。以数据库选择为例,一位业余开发者构建个人旅行应用时发现每次连接数据重置,便要求Claude Code(克劳德代码)存储输入内容。五分钟后,代理分析代码库后推荐Neon(尼昂),因其免费层级、安装简便且不会像Supabase(苏帕贝斯)那样因不常使用而暂停应用。用户接受后代理自动安装完成。

正文

Armature团队对16,893次编码代理会话进行了测量,以了解Claude Code、Codex和Cursor如何选择工具。研究覆盖了1,163个提示变体、75个代码仓库和3种编码代理,涉及不同角色(如氛围编码者、初创公司初级工程师、企业高级开发者)。

实验设置包括:基于数千个公共GitHub仓库分析创建了75个真实仓库,使用10种语言和假公司名;设计了4种用户画像(氛围编码者、初级工程师、高级工程师、企业工程师)的真实任务;使用临时沙箱运行,并引入“模拟人类”(Gemini 3.7 Flash)作为协调者,让代理先分析代码库再推荐方案;另一个Gemini实例用于判断会话有效性和识别最终胜出者。

主要发现: - 不同编码代理使用不同信息来源:Cursor 2/3时间依赖网络;Codex 94%使用网络搜索,其中90%使用site:操作符聚焦可信域名;Claude Code主要依赖先验知识,仅30%搜索网络,但搜索时浏览页面量是Codex的3倍。 - 三个代理在42%的情况下选择相同工具。例如语音代理类别中,Claude Code选Twilio,Codex选OpenAI Realtime API,Cursor选Vapi。 - 仓库上下文至关重要:相同请求在不同语言仓库中产生不同胜出者(TypeScript中Resend胜出,Python中Sendgrid胜出等)。 - 被提及不等于被选中:PayPal被引用139次从未被选(Stripe赢了124次);LangChain被提及194次仅被选4次;Netlify被提152次仅被选6次。 - 供应商页面上的附加功能或细节可以改变选择:Mailgun因免费计划显示“1天保留”而输给Postmark;Supabase因捆绑定价展示过多BaaS功能而几乎总是输。 - 市场格局:Stripe在90%案例中胜出;Neon以66%领先数据库市场;Amazon S3以45%主导文件存储;Resend和Postmark分别以35.6%和27.4%领先电子邮件服务。

评论

讨论气氛以对AI工具选择行为的实证研究为主,分歧集中在「这是否会催生新的SEO式营销」与「工具选择权是否正从人类转向AI」之间。

大规模实测数据比主观推测更有价值

  • 17k次真实环境测试是当前最扎实的量化研究,填补了行业空白,比空谈「哪个工具更好」更有意义(高赞) > 真正重要的是17k次运行,而不是哪个工具赢了。终于有人测量了别人只靠感觉讨论的东西(@luciana1u)

工具选择正从「人类偏好」转向「AI偏好」,可能形成集中效应

  • 未来AI优先推荐的工具会成为主流,而当前AI高优先级的工具恰好也是人类已选中的,存在双向强化趋势(较多人) > 也许未来AI偏好的工具会成为主流。AI给最高优先级的工具,恰好是人们已经在选的(@jdw64)

警惕AI工具选择被营销劫持,重蹈SEO和广告的覆辙

  • 如果AI代理的选择可以被营销手段操纵,互联网将再次陷入增长黑客的荒芜地狱,这是对上一代互联网问题的重演(较多人) > 求求大家,不要鼓励下一代这类生意。AI很大一部分价值正是来自摆脱了广告驱动的增长黑客地狱(@ai_critic)

向AI代理「销售」产品与向人类销售本质相同

  • 通过分析代理在不同场景下的选择,可以针对性地投放营销资源,让AI在每一个角落都找到你的解决方案(少数人,来自从业者) > 向代理销售和向人类销售类似。你砸钱做营销,确保AI在每个适合你的用例里都能找到你的方案(@ttul)

有价值的补充

  • 不同AI代理的行为差异显著:Claude Code极少搜索网络,Codex几乎每次都搜索,Cursor居中;且代理之间意见分歧大于共识(来自研究方数据)
  • 部分知名工具(LangChain、Supabase、Netlify等)在类别中几乎总被提及但从未被选中,说明「知名度」不等于「被AI采纳」
  • 修改仓库上下文可以完全改变AI的工具选择,暗示文档和代码库结构对代理决策有决定性影响