Hacker News 中文摘要

RSS订阅

聊天模板改变LLM作为一个语言模型的口吻 -- "As a Language Model": Chat Template Switches LLM Self-Referential Voice

大型语言模型在涉及自身问题时往往会添加“我只是一个AI”之类的免责声明。这类自我报告被用于AI安全或模型自我认知的辩论,其驱动因素尚不清楚。聊天模板如同开关,存在时会在8个流行开源指令模型(参数达9B)中调高免责声明语调、调低“我感到”等体验语调;不存在时则相反。在3个模型激活中,发现一个引导该行为的方向。

正文

大语言模型被问到与自身相关的问题时,往往会加上“我只是个AI”之类的免责声明。这类自我报告常被用于探讨AI安全或模型自我认知的争论,但其背后的驱动因素尚不明确:模型究竟是在描述自己,还是描述自己的部署方式?

本工作表明,chat template 就像一个开关——在8个参数规模最高达9B的流行开源 instruct 模型上,一旦有 chat template,免责声明式的语气就会增强,而“我感觉”这类体验式的语气则会减弱;反之,若没有 chat template,免责声明语气减弱,体验式语气增强。

我们在3个模型的激活中找到了一个引导该行为的方向。在模型的激活空间里移除这个方向,免责声明语气会变弱,加上则变强,而同等大小的随机方向几乎没影响。我们发现,没有 chat template 的 instruct 模型,如果给它加上免责方向,就会像有模板那样出面免责。

由于 chat template 控制着大语言模型的免责语气,研究模型自我报告或内省的研究者可能需要控制这个混杂因素。我们的结果显示,他们可以用这个方向来引导该语气。更广泛地看,模型对自己的描述并非关于它们自身的事实,这些话不只来自权重,有一部分是由 chat template 设定的,因此不应被字面理解。

评论

多数评论者认为模型的第一人称与“自我”表述纯属训练与提示工程塑造的表象,质疑论文将输出视为模型自我指涉的合理性;少数人则对引导模型内省的研究表示兴趣,并探讨人格稳定性可能。部分用户反感拟人化包装与机械免责声明。

认为模型自称与内省是训练与提示工程人为塑造的表象

  • 多条评论指出,模型以特定身份发言显然受后期训练、系统提示或公司包装驱动,文章用“模型引用自己”的措辞不当,计算机并无真正自我(认可度:较多人) > 所谓“驱动原因尚不清楚”很奇怪,它们明显是被重度训练成如此回复的(@LiamPowell)

反感拟人化包装与机械式免责声明

  • 用户批评AI公司将语言模型包装成友好聊天机器人是操纵性设计,并厌恶“作为语言模型”开头的臃肿提醒,期望像星际迷航电脑般中立或本地模型直接给实用建议(认可度:较多人) > 把软件扮成有身份聊天机器人是操纵性的黑暗模式,诚实界面应像星际迷航里的电脑(@ForHackernews)

对模型内省引导研究有兴趣但指出规模门槛

  • 有人赞赏引导技术创新,但指出内省能力只在最高参数模型涌现,期待更大模型验证;亦有人虽认为自述非事实显而易见,但肯定确认有价值(认可度:少数人) > 内省现象似乎只在最高权重级别出现,在更大模型上跑这项研究定很有趣(@cadamsdotcom)

以反讽表达对模型自称身份的不信任

  • 一条评论借自称有经验白人男性反问信任,折射社区对拟人化声明的调侃与警惕(认可度:少数人) > 我只是个有几十年经验的白人男性,你信任我吗?(@sehw)

有价值的补充

  • 内省能力仅在最大规模模型显著,较小模型可能无此类行为,需在更大参数上验证研究。
  • 模型人格或能成为可移植的稳定实体像模因般传播,这取决于提示词在不同系统的可移植程度。
  • 实际使用中发现,无结构化控制语法时模型易无限生成,采用类似起始结束标记的特殊符号可有效约束输出。