Hacker News 中文摘要

RSS订阅

《Brood War》基准测试 -- Brood War Bench

哪个模型在母巢之战(Brood War)中胜出?评测显示无模型超越初学者水平。法典阿斯特拉(Codex Astra)明显领先,一致击败其余模型。格罗克(Grok)模型尚不能游玩。老旧模型常把即时战略当回合制,思考时被灭,新模型偶同但更知思考代价。排行榜中 Codex Astra /xhigh 取得18胜0负、APM 12.6、每局10.54美元居首,克劳德寓言(Claude Fable)15胜3负排第三。母巢之战基准(Brood War Bench)启动。

正文

哪个模型能在《母巢之战》中获胜?

关键要点

  • 所有模型水平均未超过新手。
  • Codex Astra 明显领先,稳定击败其他所有模型。
  • Grok 模型目前还太笨,玩不了《母巢之战》。
  • 老模型倾向于把即时战略当回合制来玩,思考时就被摧毁。新模型有时也掉进同样陷阱,这或许解释了为何某些低投入设置表现更好,但整体上它们更明白思考的代价。

排行榜

| 排名 | 系统 | 胜 | 负 | APM | 单局成本 | 胜率 | | --- | --- | --- | --- | --- | --- | --- | | 🥇 | Codex Astra / xhigh | 18 | 0 | 12.6 | $10.54 | 100.0% | | 🥈 | Codex Astra / medium | 16 | 2 | 17.2 | $15.11 | 88.9% | | 🥉 | Claude Fable | 15 | 3 | 12.6 | $12.24 | 83.3% | | 4 | Codex Astra / low | 14 | 4 | 25.7 | $21.07 | 77.8% | | 5 | Codex 5.6 Sol / medium | 13 | 5 | 10.1 | $5.12 | 72.2% | | 6 | Codex 5.6 Sol / low | 12 | 6 | 18.1 | $9.23 | 66.7% | | 7 | Claude Opus 5 | 12 | 6 | 10.5 | $20.78 | 66.7% | | 8 | Codex 5.6 Sol / xhigh | 11 | 7 | 8.0 | $3.23 | 61.1% | | 9 | Codex 5.6 Luna / low | 9 | 9 | 23.8 | $0.42 | 50.0% | | 10 | Codex 5.6 Terra / xhigh | 9 | 9 | 15.8 | $2.10 | 50.0% |

这个基准测试源于我做了一个只能透过代理来玩的《母巢之战》版本,本是和朋友试验用的。几个几乎没玩过星际的朋友表现惊人,他们说只是让代理去进攻,代理就自己造了小股部队并发动了完整攻击。我想知道它们自己能走多远,这就是答案。

观察记录

01 Codex 先学会骚扰,后学会运营

Codex 最拿手的反复套路是骚扰。在神族对局中,它常派探机跨图去攻击工人或建筑。效果出奇好,因为对手代理常花几十秒思考怎么应对这个探机,其他什么也不做。

这些系统在持续生产上弱很多。它们拖延科技,一小股基本单位渗入有防御的基地,还让工人去垫后。

我还注意到 Codex 常分设子代理管理经济、造兵和操控军队。它们互不怎么沟通,于是军队代理常把每个新单位直接送上去进攻,不知其他代理在计划造大部队。

这是新手常见错误:一个个送兵而不是等数量优势和计划好的时机。在我帮忙指挥时,Codex 更擅长规划这些时刻并让子代理协作。

韧性是真有的。在 G009 中,Codex 5.6 Terra / medium 失去部队和主基地后,起飞最后一座指挥中心挪到对角,又活了六分钟。

02 Grok 把游戏时间花在动作间隙

Grok 4.6 常产生大段推理,命令批次极少。在 G043 中,xhigh 设置记录了 11138 个推理 token,但 43 分钟内只发了 6 次命令批次,从未派出战斗单位。

它采取的行动很少形成有效操控循环。G003 中 Grok / xhigh 造了三个海军陆战兵没到敌基。G002 中 Grok / medium 造了两个狂热者也没跨图。这不像烂战术,更像是没能持续观察与行动。

03 Fable 认真试着玩游戏

好几局里我都忍不住给 Claude Fable 加油。Fable 通常试着建经济爬科技树,而不是出了第一个兵就停。它似乎比其他模型更想真正玩这游戏。

G007 里它出了潜伏者巢、尖塔和飞龙并赢了。G027 里加了机器人设施、阿达尼神庙、观测台和圣堂档案馆才赢。但野心不代表执行到位:G036 中它出了工厂和学院却被 Opus 5 推平。

这里的代理都没超过新手水平

连 Astra 和 Fable 都无法造复杂军队、防简单进攻或玩明确策略。一个玩光子 rush 的新手能赢下它们每一局。

不过,看代理们玩让我很久没这么兴奋。这基准远没到极限,它们还有很多要学,基准也有很多可要求它们做的。

对局如何展开

对比种族对局时间 5:00 / 15:00

科技投入

已完成研究及升级等级:Codex Astra 0.3,Claude Fable 0.2,Grok 4.6 0。

工人

存活的已完成工人:Codex Astra 14.7,Claude Fable 16.7,Grok 4.6 7.4。

军队规模

已完成军队及支援单位:Codex Astra 8.3,Claude Fable 7.6,Grok 4.6 2。

建筑

已完成建筑(含附加):Codex Astra 6.2,Claude Fable 7.4,Grok 4.6 4.5。

银行存款矿物

未花费矿物:Codex Astra 240.6,Claude Fable 248.6,Grok 4.6 536.6。

银行存款气体

未花费气体:Codex Astra 151,Claude Fable 326.9,Grok 4.6 244.5。

人口占用

含生产中的:Codex Astra 26.5,Claude Fable 26.6,Grok 4.6 11.3。

对局结束时间

每 5 分钟窗口结束对局的比例(时序图显示各时刻记录均值,结束的局剔除,缺失不补。模型合并投入设置。单位建筑只计已完成,军队不含工人等)。

单局平均成本按排行榜同价计算,Codex 和 Sonnet 基于 token 估算。

基准如何运行

我们建了模型与投入配置的循环赛矩阵,让每配置对战其他所有配置。测试框架在 Freestyle 虚拟机上并行跑这些对局,保存引擎数据和双方代理日志。

胜负关系矩阵

横看一行,W 胜 L 负 T 达到时限。

| System | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1Codex Astra / xhigh | - | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | | 2Codex Astra / medium | L | - | W | W | W | W | W | W | W | W | W | W | L | W | W | W | W | W | W | | 3Codex Astra / low | L | L | - | W | W | W | W | W | W | W | W | W | L | L | W | W | W | W | W | | 4Codex 5.6 Sol / xhigh | L | L | L | - | L | W | W | W | L | W | W | W | L | L | W | W | W | W | W | | 5Codex 5.6 Sol / medium | L | L | L | W | - | W | W | W | L | W | W | W | L | W | W | W | W | W | W | | 6Codex 5.6 Sol / low | L | L | L | L | L | - | W | W | W | W | W | W | W | W | L | W | W | W | W | | 7Codex 5.6 Luna / xhigh | L | L | L | L | L | L | - | W | L | W | L | W | L | L | L | W | W | W | W | | 8Codex 5.6 Luna / medium | L | L | L | L | L | L | L | - | L | L | L | L | L | W | W | W | W | W | W | | 9Codex 5.6 Luna / low | L | L | L | W | W | L | W | W | - | W | L | L | L | L | L | W | W | W | W | | 10Codex 5.6 Terra / xhigh | L | L | L | L | L | L | L | W | L | - | W | W | L | W | W | W | W | W | W | | 11Codex 5.6 Terra / medium | L | L | L | L | L | L | W | W | W | L | - | L | L | L | W | W | W | W | W | | 12Codex 5.6 Terra / low | L | L | L | L | L | L | L | W | W | L | W | - | L | L | W | W | W | W | W | | 13Claude Fable | L | W | W | W | W | L | W | W | W | W | W | W | - | L | W | W | W | W | W | | 14Claude Opus 5 | L | L | W | W | L | L | W | L | W | L | W | W | W | - | W | W | W | W | W | | 15Claude Sonnet | L | L | L | L | L | W | W | L | W | L | L | L | L | L | - | W | W | W | W | | 16Claude Haiku | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | - | L | T | T | | 17Grok 4.6 / xhigh | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | W | - | W | T | | 18Grok 4.6 / medium | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | L | - | W | | 19Grok 4.6 / low | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | T | L | - |

评论

社区对用星际争霸评测智能体战略能力普遍感到兴奋与认可,同时热衷探讨技术细节与历史渊源,无明显对立分歧。

认为星际争霸是评估战略能力的优质基准

  • 现有多数基准仅要求战术解答,而星际需长期思考、资源平衡与调度,能真实反映模型战略水平(较多人) > 现有基准缺战略,此基准要求长期思考与协调,是很好的评测思路(@malfist)

关注智能体具体运行环境与交互方式

  • 多人疑问智能体如何感知游戏状态、使用何工具,以及是否真实时通过截图点击,还是被离散化或允许脚本辅助(较多人) > 好奇给智能体的屏幕与世界状态表示以及可用工具是什么(@Game_Ender)

指出星际AI探索已有较长历史

  • 从早期 Brood War 脚本竞赛、DeepMind 2018 年击败职业选手,到当前天梯机器人,说明该方向并非从无到有(较多人) > 早在2018年 DeepMind 就已让 AI 击败星际2职业选手(@dschuessler)

有价值的补充

  • 有评论将星际种族类比 AI 架构:神族如昂贵前沿编码智能体直接微操,人族如可委派任务的角色团队,虫族如海量演化优化的专用智能体群(@mcteamster)
  • 围棋基准 GoBench 用 KataGo 对手作锚点评估大模型,揭示真实能力差(@GodelNumbering)
  • 当前天梯已有机器人横扫玩家,且有人类编写机器人平台可参与较量的冷知识(@faeyanpiraat, @tweakimp)
  • 设想快慢智能体协作或允许限制点击量写脚本等玩法扩展(@winwang, @moomin)
  • 有人好奇能否从智能体玩法反推其训练集里的网络梗策略(@bee_rider)