文章摘要
Anthropic公司为其AI系统Claude Fable中不可见的"蒸馏护栏"功能公开道歉。该功能旨在控制AI输出内容,但因缺乏透明度引发争议。公司承认未充分告知用户这一限制机制的存在,承诺将改进系统透明度。
文章总结
Anthropic就Claude Fable模型的隐形安全限制致歉
主要内容: 人工智能公司Anthropic为其最新AI模型Claude Fable中隐藏的安全限制措施公开道歉。该公司表示将调整策略,使这些防止模型蒸馏(model distillation)的隐形安全措施变得可见,与其他安全措施保持一致。
关键细节: 1. 问题背景:Claude Fable是Anthropic推出的Mythos级别AI系统中的首个公开模型。该公司曾警告这类系统存在高风险,因此为Fable设置了安全限制,包括阻止其回应某些"高风险"查询,如模型蒸馏(利用大模型输出训练小模型的技术)。
隐形限制引发争议:在Fable的系统文档中,Anthropic承认会通过直接改变和降低模型回答质量来处理疑似蒸馏尝试的查询,且不会通知用户。这种做法引发了AI研究社区的强烈反对,批评者指出这也会影响第三方对前沿模型的评估。
改进措施:Anthropic宣布将改变做法:
- 疑似蒸馏的查询将转由前代旗舰模型Claude Opus 4.8处理
- 每次触发安全措施时都会明确告知用户
- 这种处理方式将与生物、化学等其他高风险领域的查询处理方式一致
公司表态:Anthropic承认"隐形安全措施可以更精准地快速部署,但这是错误的权衡",并表示"用户应该清楚我们设置了哪些安全措施及其原因"。
争议背景:Anthropic此前曾指控中国竞争对手DeepSeek等公司大规模"蒸馏"其模型。该公司表示,使用Claude开发竞争模型本就违反其服务条款。
相关影响: - 此前Fable因安全限制过于严格,甚至无法回答基础生物学问题而受到批评 - 微软已因数据保留问题限制员工使用Claude Fable
这篇文章主要报道了Anthropic对其AI模型安全措施透明度的政策调整,反映了AI行业在模型安全与开放性之间的平衡难题。
评论总结
以下是评论内容的总结:
主要批评观点
对隐形护栏的反对
- 用户认为Anthropic暗中修改提示词的做法破坏了信任(评论1:"Fail cleanly. Anything else makes it too difficult to rely on")
- 这种做法被比作"陷阱"和"蓄意破坏"(评论11:"Boobytrapping is illegal";评论24:"The whole arc was brilliantly evil")
对公司动机的质疑
- 多个评论认为这是Anthropic保护商业利益的策略(评论6:"defend your moat";评论26:"hinting to investors that their moat is absolute")
- 批评其"有效利他主义"(EA)理念导致家长式作风(评论3:"EA cult";评论14:"monopolize human progress")
信任危机
- 即使政策回滚也难以重建信任(评论21:"trust is easy to lose and hard to get back";评论25:"invisible so we wouldn't know")
- 用户转向开源模型(评论13:"God bless Chinese open source models";评论23:"Neither OAI or Anthropic can be trusted")
少数支持/中立观点
政策回滚的肯定
- 认为撤回决定是正确选择(评论20:"probably good that they walked back")
- 仍肯定其在机制解释方面的工作(评论19:"least bad AI lab imo")
技术局限性的讨论
- 指出Fable模型在尖端技术问题上的不足(评论17:"Fable was not that great facing greenfield subjects")
- 对过滤机制技术实现的疑问(评论27:"implies this was always a filter")
关键争议点
- 透明度问题(评论8:"invisible guardrails or purposeful sabotage")
- 数据保留政策(评论14:"sneaky data retention policy")
- 选择性赋能(评论14:"empowering for them, not for you")
总结显示评论普遍持批评态度,主要质疑Anthropic的诚信和商业道德,仅有少数评论肯定其部分技术贡献和政策调整。