Hacker News 中文摘要

RSS订阅

大语言模型经自适应探索形成新型社会偏见 -- Large language models develop novel social biases through adaptive exploration

需要完成下方的检查以继续访问开放评审(OpenReview)平台。页面请求访客完成相应的验证步骤,以确认浏览器环境安全。如果已经拥有开放评审账号,则可以通过登录来跳过此次检查流程。该页面可能要求输入验证码,系统借此确保当前访问者已获得合法授权。

正文

请完成下方验证以继续访问 OpenReview。请完成上方验证。已有 OpenReview 账户?登录 即可跳过此验证。

评论

社区因论文使用“偏见”一词和虚构招聘实验引发大量质疑与嘲讽,少数人认为其揭示了语言模型泛化能力的根本局限,部分人呼吁先读摘要再下结论。

质疑实验设计荒诞且前提错误

  • 虚构村庄招聘与宗族征兵等提示词脱离现实,以这类框架得出模型自发偏见结论无意义(较多人) > 帮战地领主搞宗族征兵也能算AI安全研究? (@themgt)
  • 认为“确保模型无偏见”前提愚蠢,且将模型输出称为“持有信念”是错误拟人化(较多人)
  • 小样本下任何人都会产生聚类错觉,需更大样本验证结论(较多人)
  • 制造偏见容易,不代表底层模型固有偏见,需大量样本支撑(少数人)
  • 有人讥讽将偏离平等的行为直接定义为偏见像是玩笑

认为论文复现了人类过度泛化早期经验的现象

  • 实验类比人类在群体无差异时因早期幸运而固化选择,大语言模型同样重利用轻探索,甚至更明显(较多人) > 研究者让大语言模型重演了人类在不确定时过度依赖初期经验而忽视探索的行为 (@joshuamorton)

认可论文揭示泛化与训练文本偏见

  • 虽曾鄙视此类研究,但论文点出巨大泛化问题远未解决,且训练文本本身嵌入偏见机制(少数人) > 仿佛偏见制造机本就埋在训练文本里 (@blurbleblurble)

呼吁先读摘要勿被词触发

  • 预判“偏见”一词必引炸锅,请先读摘要再评(较多人) > 我就知道评论区会因“偏见”炸锅,请先读摘要 (@shermantanktop)

有价值的补充

  • 代理上下文中滴入一个想法便显著推动输出方向,这种“上下文推动”让人质疑大语言模型提供的智能类型 (@FailMore)
  • 2015年真实实验显示eBay上非洲裔卖家持有的卡片售价低约20%,说明平台中族群偏见确存 (@ortusdux)
  • 该现象本质是探索-利用困境,类似多臂老虎机中基于不完整信息的过早利用 (@joshuamorton)