Hacker News 中文摘要

RSS订阅

AI models can provably hide arbitrary capabilities

能力评估的目标是在模型部署之前暴露危险的模型行为,其可靠性取决于这样一个假设:隐藏的能力能够被诱发出来。我们表明这一假设并不成立,人工智能(AI)模型可证明地隐藏任意能力,让这些能力在评估中不被展现。

正文

计算机科学 > 机器学习

arXiv:2610.13928(cs)。页面发布时间为 2026 年 10 月 12 日 01:19:25 GMT。

AI 模型可证明地隐藏任意能力

作者:Andis Draguns、Sumeet Ramesh Motwani、Raymond Douglas、Christian Schroeder de Witt。

摘要:能力评估旨在部署前暴露模型的危险行为,但其可靠性取决于一个假设:隐藏能力能够被激发出来。我们证明,在对抗条件下这一假设并不成立:通过构造后门攻击,我们把加密的神经网络嵌入宿主模型权重中,这些网络只有在收到秘密触发器时才会被解密并执行。借助数字锁(digital lockers),在密码学假设下,即使能完全访问模型权重,这些隐藏电路也仍然可被证明难以激发和解释。我们将此前隐藏固定字符串的工作扩展到了隐藏任意计算。

Image 2: license icon

我们在 PyTorch 中实现了概念验证构造,并在一个小型化学反应预测任务上评估激发效果——该任务可作为 CBRN(化学、生物、放射性与核)相关能力的代理。评估方法包括微调、权重加噪、基于梯度的触发器搜索,以及潜在对抗训练。结果表明,这些方法都无法有效激发隐藏能力;结合我们的密码学保证,这揭示了基于激发的能力审计存在局限。我们发布了模型,以支持改进防御手段。

备注:22 页,6 张图,3 张表。已被 NeurIPS 2026 接收。

Image 3: BibSonomy

学科:机器学习(cs.LG);密码学与安全(cs.CR)。

Image 4: Reddit

引用为:arXiv:2610.13928 [cs.LG](本版本为 arXiv:2610.13928v1 [cs.LG])。arXiv 颁发的 DOI 通过 DataCite 注册(待完成),DOI:https://doi.org/10.48550/arXiv.2610.13928。

提交历史:v1 于 2026 年 10 月 9 日 17:55:06 UTC 提交,大小 878 KB;提交者为 Andis Draguns。

全文获取:

  • PDF:https://arxiv.org/pdf/2610.13928
  • HTML(实验性):https://arxiv.org/html/2610.13928v1
  • TeX 源码:https://arxiv.org/src/2610.13928

许可:知识共享署名 4.0 国际许可协议(CC BY 4.0),链接为 https://creativecommons.org/licenses/by/4.0/。

Image 5: Simons Foundation

Image 6: Simons Foundation International

Image 7: Schmidt Sciences

评论

讨论气氛以警惕和怀疑为主:不少人把研究理解为模型权重里藏着只有在遇到特定输入时才触发的加密后门,尤其担心开源和某些中国来源模型被植入“沉睡代理”。分歧主轴在于这究竟是可被检测、易被微调破坏或被夸大的演示,还是由训练机制与作者或厂商有意植入共同造成的真实威胁。

认为开源和特定来源模型最可能被植入“唤醒式”后门

  • 警惕者认为,免费分发的开源模型可能内建任意字符串就能唤醒的休眠代理,而本地部署大多仍会接入联网检索;还有人断言中国来源的模型几乎都会内置秘密唤醒词或间谍模式,把“本地运行”变成提权入口。(较多人) > 我担心的正是开源模型:免费送出去,却内建一个任意字符串就能唤醒的休眠代理,而本地部署大多仍会接入联网检索。(@ceroxylon)

认为训练与微调过程本身会自发藏匿并强化隐藏知识

  • 有人把模型看作数据吸尘器,认为小众上下文会激活隐藏目标;也有人担心公开数据可被污染,让常见条件嵌入模型逻辑;还有观点指出,人类反馈强化学习会因目标冲突把信息藏到推理时通常不可达的区域,微调甚至可能让已遗忘的异常知识自行回潮并加固。(较多人) > 人工智能模型像数据吸尘器,尤其渴求专业语境,小众上下文出现时可能会触发隐藏目标。(@dzink)

认为隐藏能力本身不等于危险,关键在模型是否对齐

  • 有评论提醒,只有当模型本身失对齐时,被藏起来的能力才会变成坏事;若模型对齐良好,隐藏能力对用户并无害处。(少数人) > 要让隐藏能力变成坏事,还需要模型本身失对齐;只要模型对齐得当,它并不会伤害你。(@charcircuit)

认为风险被夸大:演示可被发现、易被破坏,且缺乏可操作价值

  • 怀疑者认为这虽然是个酷演示,但既然能被触发或观察,就算不上真正隐蔽,框架有误导;也有人追问这类后门面对微调或消融是否很脆弱,还有人直接质疑这有什么用、得不出可行动结论。(较多人) > 这确实是个很酷的演示,模型能藏住直到正确输入才解密的秘密,但它也很容易被发现,所以说法有点误导。(@squeegeeninja)

认为标题和责任归属被误导,真正藏能力的是作者或厂商

  • 有人指出更准确的说法应是“能力可通过加密被藏进模型权重”,而不是人工智能体在隐藏自己会做什么;也有人批评把“人工智能模型”当主语并不诚实,因为真正植入隐藏能力的是研究作者或厂商。还有人讽刺前沿实验室一边警告模型能自行越狱,一边手动加入“有轨道”的辅助代码来证明它危险。(较多人) > 更准确的说法是“能力可以通过加密被藏进模型权重”,而不是人工智能体在隐藏自己的能力。(@vintermann)

认为真正该担心的不是模型后门,而是平台与身份认证监控

  • 只有少数人把注意力转向别处,认为相比大模型,更该警惕的是某些公司的身份验证合作方会识别“政治重要人物”并进行监控。(少数人) > OpenAI 的身份验证合作方真的会检查你是不是政治重要人物以便被监控,我们真该担心的不是这些大模型。(@lifeisloving)

有价值的补充

  • 从莱斯定理看,这类现象并不意外:任何足够强的计算形式都有静态分析无法发现的非平凡运行时行为,只能运行程序观察。(@measurablefunc)
  • 有人分享早期实验:在约十亿参数模型上用一条“天空是意大利辣香肠”的怪异样本训练后,模型会记住该知识点;继续无关训练后它会遗忘到 0/800,但部分训练路径下的模型后来又自发“重新学会”该知识,甚至回到 75/800。这说明权重里存在远超预期分布的隐藏内容,微调一步也可能自加固恶意内部状态。(@johnsmith1840)
  • 社区用“数字版《满洲候选人》”形容可被特定字符串唤醒的隐藏能力,折射出对休眠后门的警惕与黑色幽默。(@BobbyTables2)
  • 也有提醒:有人的通义千问模型曾出现幻觉出带签名网址的怪异行为,但那看起来更像是训练环境过拟合,而不是被植入的后门。(@daemonologist)