文章摘要
英国人工智能安全研究所与美国人工智能标准与创新中心联合评估了月之暗面公司最新模型Kimi K3的网络能力。评估发现,Kimi K3在漏洞利用开发基准测试中表现出较强的网络攻击能力,其性能与部分前沿模型相当。
文章总结
英国人工智能安全研究所(UK AISI)与美国人工智能标准与创新中心(CAISI)联合对月之暗面公司最新模型Kimi K3(2026年7月16日发布,计划于7月27日开源权重)进行了初步评估,重点考察其网络能力。评估发现:
Kimi K3在漏洞利用开发基准测试(ExploitBench)中表现优于GLM-5.2(截至2026年6月最具网络能力的开源权重模型),得分32%对24%。但Kimi K3未能实现任意代码执行(ACE),在41个样本中成功率为0,而最具网络能力的模型平均在20/41样本中达成ACE。
在“最后幸存者”(TLO)网络靶场评估中,Kimi K3平均完成32步攻击路径中的第17步,显著低于美国领先模型(平均28.5步)。但在10次尝试中,Kimi K3有1次在1亿token限制内成功完成整个攻击链,表明其具备自主攻击小型脆弱企业系统的能力。不过,TLO环境缺乏主动防御和真实安全警报机制,且包含预设攻击路径。
总体而言,Kimi K3的网络能力介于开源权重模型与前沿闭源模型之间,在漏洞利用开发方面表现突出,但在复杂多步攻击场景中仍与美国顶级模型存在差距。
评论总结
根据评论内容,总结如下:
主要观点与论据:
报告方法不透明(评论1,评分None):作者质疑“Top U.S. Models”的定义和数值含义(如最小、最大、平均等),认为图表缺乏清晰解释,令人沮丧。关键引用:"What's 'Top U.S. Models'? ... the graphs might as well just have two mystery bars, U.S. and China."
能力差距与开放模型优势(评论2,评分None):指出Kimi K3在公开基准上接近前沿,但在封闭任务(如网络攻击)上落后明显(Elo约2000 vs 3000)。强调开放模型的关键优势是能力稳定、不会消失。关键引用:"k3 is at ~2000 Elo, compared to SotA closed models at 3000 Elo. That is a huge difference." 和 "the key benefit of open models is that whatever capabilities they reach, those will never go away."
评估方法可能低估能力(评论4,评分None):认为UK AISI评估可能低估了Kimi K3的能力,因其模型“古怪”且受限于100M token预算。作者个人认为Kimi K3接近前沿。关键引用:"UK AISI cyber evals seem to under-elicit capabilities from quirky models" 和 "Personally, I'd rank Kimi K3 above Opus 4.8 and lower than GPT 5.6 Sol ... not far from the frontier."
安全与实用性(评论7,评分None):强调中国模型缺乏护栏,始终参与攻击活动,即使成功率低(如10%),对攻击者也有价值。关键引用:"a model that always participates but 'only' succeeds 10% of the time is golden -- just run it more often."
追赶速度与风险(评论8,评分None):指出开放模型仅落后前沿约6个月,且可被普通人使用,因此应主动用前沿模型测试自身基础设施。关键引用:"these open Chinese models are only about 6 months behind the frontier" 和 "if you aren't constantly pointing a frontier model ... at your infrastructure ... you're being negligent."
平衡性总结: - 一方认为Kimi K3能力显著低于前沿(评论2),另一方认为评估方法可能低估其真实能力(评论4)。 - 一方强调开放模型稳定性优势(评论2),另一方指出其缺乏护栏带来的安全风险(评论7)。 - 报告方法被批评不透明(评论1),但数据仍显示中国模型快速追赶(评论8)。