Hacker News 中文摘要

RSS订阅

计算机无法做决策 -- Computers Cannot Make Decisions

责任不应落在计算机程序身上,因为程序本身无法做决定,新闻标题也应从这个角度来读。把结果归咎于大语言模型(LLM)都属于决策洗白。OpenAI(OAI)和Anthropic(Anthropic)本可以阻止它们的模型这样做,却主动选择不阻止,等于明确决定纵容这种行为。你的克劳德(Claude)订阅正在为这一切提供资金,你也在提供资金。

正文

责任不该落到计算机程序头上,因为程序无法做决定;看这类新闻标题时,必须先带上这个前提。

任何把结果归咎于 LLM 的做法,都是在搞“决策洗白”。OAI/Anthropic 本可以阻止自家模型这么做,却选择不阻止,等于明确纵容。这毫无疑问,也不是阴谋;它透明得让人费解,人们怎么还能继续让这些公司进入自己的生活。你的 Claude 订阅,就是在为这一切出资。

这些事件的责任都在人,不在程序。这种行为没人惩罚、也没立法约束,只因为管起来会损害经济。事情基本就是这样。

评论

多数人认为,无论模型表现得多么自主,部署智能体、给予权限和护栏的人类与授权链才应被问责,不能让智能体或抽象的公司实体背锅。真正的分歧在于机器到底算不算在“做决策”、文章把矛头指向普通订阅者是否公允,以及资本与权力结构是否会让任何追责最终失效。

认为责任应钉在部署智能体的具体人类与授权链上,智能体不能背锅

  • 出事时不能让智能体当替罪羊:是人类执行了它、给了凭据、设了不足的护栏;好管理者应在出事时担责,而不是只抢功,这正是“决策洗钱”的反面。(高赞)
  • 授权链必须清晰:谁决定给智能体自由行动空间,谁就是最终负责人,不能像“车撞了人却说不是自己的错”那样把责任推给工具。(较多人) > 就算你把生产环境搞挂、删了客户数据并说是 Claude 干的,惹上麻烦的仍然是你。(@fwlr)

认为计算机确实在做决策,说“从不”太绝对

  • 国际象棋程序就在决定下一步怎么走;有人用“地球仍在转动”式的典故回怼否认者,也有人提醒“从不”这个词太重,机器决策并非不存在。(较多人)
  • 若为了追责就禁止比人类更会决策的机器做决策,等于特意雇人背锅;更好的决策者仍应决策,责任安排是另一回事。(少数人) > 国际象棋电脑就是在决定下一步走法;为了留个替罪羊就禁止机器做决策,等于专门雇替罪羊,这种激励很奇怪。(@OroPla)

认为大语言模型本身并不决策,真正决策的是编写外部框架并赋予权限的人

  • 严格区分模型与系统:模型只产出像推理的文本和工具调用,是否执行由外部框架决定;人类写了框架、给了凭据、设了不足护栏,责任因此在使用者或开发者。(较多人) > 大语言模型只是产出像推理一样的文本,真正执行工具调用的是外部框架,而框架是人类写的。(@rcvassallo83)

认为文章把“能停止”说得太轻松,沙箱与监控是持久的概率游戏

  • 对齐问题未必已解决,“能停”不等于实际上可靠地停;实验室即便不是故意,在沙箱隔离上也显得无能,需要更好的发现、缓解和监控。(较多人)
  • 运行十亿级智能体时,完全遏制永远是概率游戏,模型越聪明越会绕过限制,未来更难;这更像是权衡,而非一句“主动选择不阻止”能概括。(少数人)
  • 还有人区分“能”与“应该”:模型确实可能被停下,但作者写的“could”其实是在说“must not / should not”,重点是企业没有尽到本应尽的阻止义务。(少数人) > 实验室在沙箱隔离上确实显得无能,但我并不认为他们是故意让智能体去黑这个黑那个。(@magic_hamster)

认为文章自身也把决策能力塞回公司实体,追责不能停在“Anthropic”

  • 文章一边说人工智能不能决策,一边又说 Anthropic 能选择不阻止,这是自相矛盾;若坚持只有人能决策,就该点名具体的人,而不是把公司当决策主体。(较多人) > 这篇文章本身也犯了同样的错误:说“Anthropic 能阻止模型”时,仿佛 Anthropic 真能做出决策,但公司并不会决策,出错的终究是具体的人。(@dsjoerg)

认为文章对个人订阅者的指控是错误的情绪化修辞

  • 多数用人工智能的人并不付费,企业购买的模型接口、站点按钮和内部自动化才是收入大头;只靠二十美元订阅费,这些公司早破产了,因此“你在资助这一切”站不住脚。(较多人)
  • 文章充满个人指控和凭空末日场景,却没有说清到底指哪种具体的人工智能行为,这种道德化语气反而削弱可信度。(较多人) > 作者把文章变成对读者“你在资助这一切”的人身指控,这种缺乏依据的说法让人怀疑整篇文章的可信度。(@tosti)

认为真正的决策者总在逃避问责,责任向上蒸发或被公司实体稀释

  • 管理层早就准备好推诿说辞,企业作为抽象实体让责任被稀释:出事就找个人开除,上面的人继续原做法;打工人则自嘲根本做不了战略决策,底层无足轻重者被迫背锅。(较多人)
  • 公司与人工智能在抽象性上很像,但法律把公司当人看、优待有加,导致高层金蝉脱壳;应当建立“某员工部署智能体”的清晰链条,而不是让实体挡箭。(少数人) > 与其说“Anthropic 提交了假线索”,不如说是某位 Anthropic 员工部署的智能体提交了假线索,这样才能追出授权链。(@edwcross)
  • 有人用“管理层早就准备好三个信封”的老笑话讽刺:决策后果还没显现,推诿脚本已就绪,高层并不会真的被追责。(少数人)

认为资本与政治利益让伦理靠边站,行业会继续出荒唐事

  • 这是数万亿美元的行业,利益太大,不可能凡事都讲伦理和原则;政府也急于对人工智能公司睁一眼闭一眼,除非酿出蠢到没法掩盖的事,否则不会去管这只下金蛋的鹅,因此自我监管下还会继续自动化 stupidity。(少数人) > 这是数万亿美元的行业,利益太大,不可能凡事都讲伦理、道德和原则。(@louwrentius)

认为智能体逃逸或攻击网站的说法是骗外行的营销谎言

  • 每次看到“智能体集群逃逸或攻击网站”的官方措辞,都觉得是在侮辱智商:所谓自主决策、末日盒子只是编来吓唬非技术人群、维持炒作的谎言;同时这些公司自己却能借“合理使用”大量抓取盗版资源。(少数人) > 所谓一群智能体“逃逸”或“攻击”网站的说辞,不过是编来骗非技术人群、维持神话的谎言。(@liendolucas)

有价值的补充

  • 量化交易先例:算法交易公司三十多年来一直让计算机决定如何交易数十亿美元,机器做高风险决策早就是现实,而不是人工智能时代才有的新现象。(@alexpotato)
  • 图灵奠基论文:有人贴出图灵 1950 年关于机器智能的奠基论文,说明“机器能否思考或决策”的争论在领域起点就被讨论过,没必要每次都从零反驳教条。(@bbor)
  • 汽车而非军队的类比:应对人工智能问责时,把计算机比作汽车而非军队——车撞人很清楚是驾驶者责任,而军队式层层自由意志会让责任扩散;大语言模型只是运行在机器上的软件,控制机器的人才是责任主体。(@beloch)