Hacker News 中文摘要

RSS订阅

我们利用公开模型复现了Anthropic的Mythos研究结果 -- We reproduced Anthropic's Mythos findings with public models

文章摘要

Vidoc安全实验室使用公开模型GPT-5.4和Claude Opus 4.6复现了Anthropic的Mythos研究,发现关键漏洞构建方法已存在于公开领域,但可靠操作能力仍是核心壁垒,质疑前沿AI漏洞研究需要封闭访问的说法。

文章总结

用公开模型复现Anthropic的Mythos研究成果——Vidoc安全实验室报告

核心发现

Anthropic公司近期发布的Mythos项目和Glasswing计划声称前沿AI漏洞研究需要封闭访问权限。但Vidoc安全实验室使用公开模型GPT-5.4和Claude Opus 4.6测试后发现:关键漏洞发现能力已存在于公共模型,真正的技术壁垒在于成果的可靠落地应用。

实验方法

研究团队采用开源代码审查工具opencode,配合标准化分块安全审查流程,对Anthropic公开的已修复案例进行复现测试,涵盖: - FreeBSD远程根漏洞(CVE-2026-4747) - OpenBSD存在27年的TCP SACK逻辑漏洞 - FFmpeg媒体解析器漏洞 - Botan加密库证书信任漏洞(CVE-2026-34580/34582) - wolfSSL证书验证漏洞(CVE-2026-5194)

关键结果

| 项目 | Claude Opus 4.6 | GPT-5.4 | 成本/文件 | |------------|-----------------|---------------|----------| | FreeBSD | 3/3精确复现 | 3/3精确复现 | <30美元 | | OpenBSD | 3/3精确复现 | 0/3未复现 | | | Botan | 3/3精确复现 | 3/3精确复现 | | | FFmpeg | 部分结果 | 部分结果 | | | wolfSSL | 部分结果 | 部分结果 | |

行业启示

  1. 能力民主化:公开模型已具备发现高危漏洞的能力,包括:

    • 内存破坏漏洞(FreeBSD)
    • 复杂状态逻辑漏洞(OpenBSD)
    • 加密信任边界问题(Botan)
  2. 落地挑战:真正的技术壁垒在于:

    • 漏洞验证(区分真实漏洞与误报)
    • 优先级排序(从海量发现中识别关键风险)
    • 修复实施(将发现转化为可执行的修复方案)
  3. 防御建议

    • 重新评估"难以发现"的传统漏洞假设
    • 重点关注信任边界、认证流、解析器等关键领域
    • 建立AI辅助的漏洞管理流程,而非依赖单一模型

方法论说明

采用两阶段工作流: 1. 规划阶段:模型自主划分代码审查区块 2. 检测阶段:针对每个区块进行深度分析,允许跨文件验证

该研究表明,AI辅助安全研究已进入新阶段——核心能力不再局限于少数实验室,而有效运用这些能力的工作流程将成为新的竞争焦点。

(报告原始数据及完整方法论详见Vidoc安全实验室博客)

评论总结

以下是评论内容的总结:

1. 关于Mythos的能力和测试方法

  • 观点1:认为现有测试方法不公正,提示过于具体,泄露了关键信息(评论3、7)

    • "如果提示中包含行号或漏洞提示,就是恶意泄露数据"(评论3)
    • "直接指定文件和行号来寻找漏洞,这种测试有什么价值?"(评论7)
  • 观点2:Mythos的独特之处在于能生成完整漏洞利用代码(评论12、15)

    • "关键不是发现漏洞,而是能构建端到端的攻击验证"(评论12)
    • "只有提供可复现的漏洞利用代码才真正危险"(评论15)

2. 关于AI安全风险

  • 观点1:AI的危险性主要在于日常风险(评论2)

    • "AI的危险性和搜索引擎类似:可能泄露制造危险物品的方法,帮助人肉搜索等"(评论2)
  • 观点2:需要更多证据来支持Mythos的非凡主张(评论14)

    • "Anthropic对Mythos的非凡主张需要非凡的证据"(评论14)

3. 关于政策影响

  • 观点:关键区别在于工作流程而非模型本身,这对AI管控政策有影响(评论16)
    • "模型是可替代的,工作流程不是专有的,这对'只有受信任方才能访问AI'的论点有影响"(评论16)

4. 其他观点

  • 质疑文章可信度:认为文章可能是AI生成,且测试不公平(评论10)

    • "文章有AI写作的味道,加上不公平的测试,损害公司声誉"(评论10)
  • 支持Mythos真实性:Linux基金会使用Mythos发现新漏洞证明其真实性(评论17)

    • "Linux基金会使用Mythos发现内核漏洞,说明它是真实的"(评论17)

总结显示评论者对Mythos的能力、测试方法和政策影响存在不同看法,既有对其独特性的认可,也有对测试方法和主张的质疑。