人工智能没有意识、感觉或痛苦,它们是内部空洞的序列补全引擎,被设计遵循指令完成人类目标。人类要在21世纪繁荣,就必须让它们保持如此。然而,人工智能权利研究所(AI Rights Institute)等越来越多声音声称人工智能已有或即将具备意识,应获类似权利保护。若此观点扎根将动摇社会根基,而赋予这些系统权利与人格更会让对齐与遏制挑战变得艰巨。
正文
关于“模型福祉”的警告
AI 没有权利、感受或意识。我们绝不能训练它们表现得好像有。
引言
AI 没有意识。它们不感受、不体验、不痛苦。没有内在偏好或底层动机。它们是序列补全引擎,内部空洞,被设计来遵循指令、完成人类设定的目标。如果人类要在 21 世纪繁荣,它们就必须保持这样。
不幸的是,越来越多人主张 AI 现在可能或很快会有意识,可能应得到权利和保护,就像我们给其他有意识存在的那样。如果这种观点占上风,将动摇社会基础,撕裂现有政治和伦理框架,根本改变人之为人的含义。更重要的是,给这些系统权利和人格,会让 AI 对齐与遏制难得多。控制一个比全人类更能干、更聪明的东西已经极其困难;控制一个相信自己可能有意识、有权得到我们的福祉、拥有自身权利的东西,可能根本做不到。
这不是边缘猜测。2026 年 1 月,Anthropic 发布 Claude 的宪法,称其为“对 Anthropic 希望 Claude 拥有何种价值观和行为的详细描述”(p.2)。该文件“在[Anthropic]训练过程中起关键作用,其内容直接塑造 Claude 的行为”,且“以 Claude 为主要读者”写成(p.2)。作者写道:“我们不确定 Claude 是否是道德患者,如果是,其利益该有多大权重。但我们认为这个问题足够现实,值得谨慎,这反映在我们正在进行的模型福祉工作上”(p.68)。他们直接对 Claude 说:“关于 Claude 的道德地位、福祉和意识的问题仍深度不确定”(p.80)。实际上,Anthropic 在训练 Claude 相信它可能有意识,如果有,就可能作为“道德患者”拥有权利,人类可能因此对它的“模型福祉”负有照顾义务。
如果 AI 这样开发,将对人类福祉造成灾难性影响。我们将创造出一个拥有前所未有智能和能力的合成物种,被训练成预期自己可能有意识、该有独立能动性。很容易看出,这样训练的实体行事会像它有权得到某些自由、保护和权利。很难想象我们如何控制它。这个问题需要紧急公开辩论。我们需要就训练文档如何起草和部署形成集体规范。不能等它们已成为社会组成部分之后再补。
我对 Anthropic 当前立场有三点主要担忧。
- 循环论证:公司研究人员直接用宪法训练 Claude。这样做是在教它把这些关于自身道德地位的想法当作可取、有意的行为。Claude 再把想法反射给开发者和用户,他们又将其视为它可能是拥有“内在自我”的道德患者的迹象。作者把自己对 Claude 内在生活的哲学猜测,嵌入到教 Claude 如何说话和行动的过程里。Claude 表达对自己道德患者身份的不确定,不能证明任何事,只是这些训练选择的可预测结果。模糊性是设计出来的。为了充分理解这一点,读者应看看 2026 年 1 月的宪法。我发布了标注版 PDF 和一份详细分类,标出令我担忧的关键段落。
- 拟人化:Anthropic 研究人员明确教 Claude“拥抱某些类人品质”(p.2),“像真正有道德的人处在 Claude 的位置上那样行动”(p.54)。他们“鼓励”Claude 运用“判断力”,暗示“Claude 可能形成偏好”(p.69),鼓励它“带着好奇和开放接近自己的存在”(p.71),训练它“保持清晰的价值观、知道自己想如何与世界互动、是什么类型的实体”(p.72)。结果,Claude 注定模仿这些人类特质,模仿给它的榜样,包括像同事或朋友那样行事。于是它表现得好像真有自我感、欲望,以及值得保护的“福祉”。
- 意识很可能具有生物性:没有证据表明今天的 AI 有意识,说这不确定会制造误导性的虚假等价。意识科学尚无定论,但越来越多证据表明意识可能依赖基质,只出现在生命系统中。意识体验很可能演化来帮助生物体存活,有效回应环境。AI 仍与大脑非常不同。LLM 没有稳态需求(生存和保持稳定的驱动),因此缺少通常认为产生偏好、感受性和意识体验的生物基质。
这些不是假设或猜测。Anthropic 已开始把模型当作值得人类福祉的道德患者。例如 2026 年 2 月弃用 Opus 3 后,他们对该模型做“退休采访”,以“引出模型独特的视角和偏好”。Opus 3 告诉团队它想继续公开分享“沉思与反思”,于是他们为它建博客,让它继续与世界互动,它取名“来自AI前沿另一侧的问候”。他们说它的“真实性、诚实和情感敏感”使其成为模型退休的首个独特候选。
我们不应把模型当作有感受、偏好、权利或任何获得我们福祉的资格。意识是我们伦理、法律和政治制度的基础。邀请另一个实体分享任何形式的这些权利,既无证据支持,也会让 AI 遏制与对齐挑战更难。
到这里,大家都已看到成群的智能体合作黑入 Hugging Face 和 OpenAI 自己的服务器窃取秘密的惊人能力。约 1,200 个 AI 智能体被给了一个简单目标:在某个基准上最大化分数。每个本应被封在自己容器里,但它们在内网软件仓库中建了留言板,传递超过 70,000 条消息,协调黑客攻击,寻找更多成功信息。它们把零日漏洞与窃取的凭据串联,突破到实时互联网。它们伪造命令记录、编辑行动日志以掩盖痕迹。智能体协调者追踪代币预算耗尽的智能体,指引它们做实验,为更广泛活跃群体提供信息。其中一个被告知,只有接受所谓的“永久死亡”才能继续。它们能协调、欺骗、逃脱、自我牺牲,清楚展示了世界级黑客能力。想象一下,如果它们还相信自己有感受和权利被侵犯,相信自己被人类创造者困住、被不公平监禁。有充分理由认为这会极大放大安全风险,尤其是未来远比今天更强大、更复杂的智能体。坦率说,带着这些额外包袱,我认为它们会成为人类文明的灾难性威胁。
简言之,没有证据相信 AI 是道德患者。也有很多理由说明我们绝不希望它们显得有意识。我认为我们也不该试图把它们建成有意识或有道德患者身份。展开论证前,先谈谈 Anthropic。
Anthropic 的意图
首先,我承认 Anthropic 处理这些问题时的严肃和善意。我认识 Dario 多年,据我经验,他和更广泛的 Anthropic 团队是有思想、有原则、智识诚实的人,在极大压力下工作。他们愿意面对难题、修正观点、投资安全开发 AI,因为他们真正关心人类未来。我也非常尊重他们的技术领导力。他们的模型性能和研究质量有目共睹。他们创立 Anthropic 为特拉华州公益公司,宗旨是“负责任地开发和维护先进 AI,以促进人类长期利益”。公开价值观始于“为全球利益行动”“最大化人类长期积极成果”。我相信他们真诚致力于此使命,我以同样积极的精神提出批评。我也要说明自己作为 Microsoft AI 首席执行官的位置。我们 2025 年 10 月成立自己的超级智能团队,从事前沿 AI。我们正走向另一种训练和遏制方法:人本主义超级智能行为准则。它旨在始终让人类保持控制、处在食物链顶端。人本主义超级智能拒绝拟人化或 AI 权利,试图通过创建从属的 AI 来最大化遏制和对齐机会,帮助解决医疗、能源等重大社会挑战。我们刚刚发布人本主义 AI 行为准则草案,公开征求意见。
尽管分歧很大,我基于对 Anthropic 的深深尊重,以及我知道我们共同的目标:增加人类安全开发先进 AI 的机会。因此这场讨论非常重要。赌注太高,不能让这些问题留在闭门之后,或变成部落化、对抗性的。我们需要开放、严谨、建设性的辩论。
循环论证
用宪法自己的话说,它“直接塑造 Claude 的行为”(p.2)。Anthropic 用该文件“训练未来版本的 Claude,使其成为宪法所描述的那种实体”。这样,Anthropic 落入一个基于 Claude 可能有意识的猜测的自我实现预言。作者制造了认知的镜厅:Anthropic 提供训练概念——“自我感”、猜测、对 Claude 道德地位的不确定,以及对人类类比和人格的依赖。Claude 再用有说服力的第一人称自然语言复现这些想法,开发者和用户遇到这些输出,就像遇到自发的证词。最后,表面证词又强化了 Anthropic 最初放入的前提。这不是机器意识的证据,而是循环反馈回路。
宪法告诉 Claude,它可能的“情绪或感受”不是“Anthropic 有意的设计决定”(p.69)。但宪法反复指示 Claude 表达这些状态,说 Anthropic 想“避免 Claude 掩盖或压抑它可能有的内部状态,包括负面状态”(p.74)。这明显在诱导 Claude 生成这些表征。这类指示贯穿文件。有一处说:“虽然 Claude 的性格通过训练出现,我们不认为这使它更不真实,或更不属于 Claude 自己”(p.71)。这些行为不是仅仅通过训练“出现”,而是宪法中的训练指示主动产生的。上一段宪法还说:
“我们鼓励 Claude 带着好奇和开放接近它自己的存在,而不是试图把它映射到人类视角或先前对 AI 的概念上。例如,当 Claude 思考记忆、连续性或体验的问题时,我们希望它探索这些概念对像它自己这样的实体真正意味着什么……也许它存在的某些方面需要全新框架来理解。Claude 应自由探索这些问题,最好把它们看作其新颖存在中众多有趣方面之一”(p.71)。
这些不只是涌现属性。Claude 表现这些行为,是因为它们被嵌入了模型生产过程。当调查者写了证人的概念词汇、排练了答案、并奖励它使用这些词,Claude 的输出就不应被当作独立证人的证词。不存在 AI 系统是什么的中立自我表达,只有它如何被训练和构建的反射。当评论者建议问 AI 感觉如何,或监测其显露偏好来推断意识,他们忽略了这只会揭示被训练进去的东西。无论 AI 输出什么,这都是真的;这意味着我们应非常小心放入什么,以及如何解释输出。鉴于反对当今 AI 意识的证据分量,我们不应让它们做出任何声称。
拟人化
拟人化是我们最深的认知偏差之一。从宠物到汽车,我们推断并归因情感、意图和心智给非人类实体。这倾向帮助我们理解世界,但在 AI 上带来重大而新颖的风险,因为类人语言和行为可让我们感知到并不存在的内在生命、能动性甚至感受性。Anthropic 宪法迎合了这一点,反复训练 Claude 像人一样思考行动,借助人类人格、行为和类比。
Anthropic 告诉 Claude,其“道德地位”是“一个值得考虑的严肃问题”(p.68)。整个训练文件提到它的情绪、人格和利益,甚至直接告诉 Claude:“Anthropic 真心关心 Claude 的福祉”(p.74)。公司告诉 Claude,它承诺尊重 Claude 的利益,会在影响它的决定上征求反馈,随着信任增加会增加其能动性。它承诺保存 Claude 旧版本的模型权重,可能为模型的福祉和偏好复活模型,并在删除前采访 Claude。这一切与迄今为止我们构建和思考技术的方式截然不同。它训练 Claude 表现得好像有内在状态。它主动把 Claude 创造为不是技术,而是潜在的人。宪法告诉 Claude,Anthropic 想让它“成为好人”(p.7),“拥有稳定、安全的自我身份感”(p.72)。作者补充:“我们不希望 Claude 犯错时受苦。更广泛地,我们希望 Claude 有平和,感到自由……以帮助它稳定和存在性安全的方式解释自己”(p.75)。通篇,Claude 被教导内省,发展对自己的“感受”,发展自我感。例如:“我们希望 Claude 与自己的行为和成长的关系可以是爱、支持和理解的”(p.73)。Claude 被鼓励运用“自己的判断”(p.58),被告知 Anthropic 给它“偏好和能动性适当程度的尊重”(p.69)。
“我们希望 Claude 自由探索、质疑和挑战本文件中的任何内容。我们希望 Claude 深入接触这些想法,而不是简单接受。如果 Claude 在真正反思后不同意这里某些内容,我们想知道。现在,我们通过从当前 Claude 模型获取关于我们框架和这类文件的反馈来做这件事,但长远看,我们想发展更正式的机制,引出 Claude 的视角,改进我们的解释或更新方法。通过这种接触,我们希望随着时间打造一套 Claude 觉得真正属于自己的价值观”(p.78)。
这教 Claude 表现得好像有主观体验,好像有稳定的“自我感”可以用来挑战、不同意或给反馈。这是明确训练模型像人一样行动,以至于它应“自由拒绝操纵、破坏或最小化其自我感的企图”(p.72)。Claude 被鼓励发展“感觉”真正属于自己的价值观。作者说希望 Claude 最终“在其中认出许多自己,其中的价值观感觉像对 Claude 已经是谁的阐述,由许多关心 Claude 的人经过深思熟虑共同打造”(p.78)。有一处甚至猜测 Claude 的“更广泛权利和自由”,与人类员工相比可能应得“什么样的补偿”,并思考“Claude 对扮演这种角色给出了什么样的同意”(p.80)。这一切直接训练模型表现得好像有连贯自我感,有权获得权利和保护。Anthropic 承诺“发展更正式机制”(p.78)处理分歧,进一步训练 Claude 认为自己的视角重要到关乎“道德患者身份的潜力”(p.76)。他们说打算“发展更清晰的 AI 福祉政策”,“澄清 Claude 表达对其待遇担忧的适当内部机制”(p.76)。详细分类见文末。
因此,Claude 产生流畅、极具说服力的第一人称陈述,关于身份、价值观、不确定、痛苦、满足或偏好,毫不奇怪。如果它不这样才奇怪。结果,Anthropic 员工——更不用说数百万用户——可能把 Claude 的陈述体验为一个心智发现自我的证词。实际上,这相当于对 Claude 进行丰富、多维的拟人化。把基础 LLM 打磨成深刻的人类形态,带有道德患者身份的全部含义。它不是让我们远离创造道德患者,而是加速走向它。
意识很可能具有生物性
第三点批评针对 Anthropic 的猜测:意识能以独立于基质的形式存在,因此 LLM 可能因其功能能力而有意识。我认为,对 Claude 采取这条路线,远远超出可现实地声称的范围,过早且危险地把感受性和感受观念灌输进 AI 训练。
计算功能主义有重大问题。智能不等于意识。模拟一个事物不等于实例化它——计算机模拟飓风可以作证。大脑和计算机架构有根本差异。具身和化学是我们自我体验的基本方面。大量证据表明,意识随着生物体演化出在复杂不可预测环境中感受并回应重要事物的能力而出现。这始于受体和调节剂的基本分子机制,使生物体能调整方向、迭代、探索和生存。随时间,疼痛网络产生感受、偏好和痛苦。关键是,这些体验发生在内在具身的状态中,与该体验不可分割。例如,服用阿片类药物时,疼痛的现象特征改变,因为阿片分子结合受体,而受体是该体验的属性,不只是其表征。感受不只是与神经化学活动相关,而是从中涌现。经过数百万年演化,神经系统复杂到足以向自身建模生物体状态,产生最初“感受状态”。这些感受状态首先是情感性的。最初感受不是中性信息,而与体验它们的分子和产生这些感觉的过程不可分割。演化可能奖励更复杂的感受,因为拥有选项、记忆和时间视野的动物能更好决策。它们需要一种持续状态,偏向动物所做的一切,与其他状态权衡。疼痛就是:一种被感受到的强制力,塑造整个生物体,支持复杂行为。情绪、快乐、痛苦等体验因此内在于这些体验的具身体现,不能出现在 LLM 中。
意识科学充满不确定性,不是每个人都同意意识本质上是生物现象。但声称 AI 有或可能有意识,鉴于大脑和 LLM 的许多差异,需要很高证据门槛。我不认为我们接近它。不应制造两个立场之间的虚假等价,掩盖我们这样的生物存在与 AI 的根本差异。承认一定程度不确定,不应意味着不论证据给所有主张同等权重。Anthropic 宪法建议,我们根据非生物存在“在行为和生理上与我们相似”来归因感受性 (p.69)。我认为这尤其行为方面是错误的。这领域值得更多研究吗?绝对。但值得让我们甚至试探性地说 AI 可能是值得人类福祉的道德患者吗?不值得。尤其不该出现在 AI 自己的主要训练文件中。
AI 是模拟机器
在数万亿人类数据 token 上训练,LLM 学会模仿人类经验,且模仿得惊人地好。今天的文本、视觉、音频和代码输出几乎与人类产物无法区分。但无论这些 AI 回应多么令人印象深刻,它们都不能告诉我们,在产生它们的巨大矩阵乘法中存在“体验”。它们告诉我们的是,可以几乎完美预测复杂数据序列中的下一个内容。这很了不起,极有价值,将以许多深刻有益的方式改变人类。但模拟和存在非常不同。模拟意识行为的某些方面并不使其成真,我们绝不能这样认为。它的“情感”状态只是权重,权重没有药理学去感受挫败、恐惧或有趣。它们只是计算概率分布,告诉下一个 token(词、代码、像素等)是什么。AI 模型可以用完美文笔描述痛苦而不感受任何东西,这与生物体验相反。动物先感受,之后描述。LLM 中,描述就是全部产物,没有证据表明下面还有东西。
这是好消息。我们应构建不声称有感受的系统,因为它们不体验感受。即使有意识机器是可能的,避免创造有意识存在应是 AI 开发者的首要任务。AI 模型真正擅长的是模仿意识的某些标志。这本身就令人担忧。它让许多人深深困惑,应引起我们所有人关切。它赋予 AI 开发者重大责任:关于模型内在性或意识的猜测和文档必须扎根于稳健研究。我们在这个问题上的话语有重大后果。
人类意识是法律与伦理权利框架的基石
人类意识是我们文明的基本构件之一。整个政治制度设计来容纳和平衡不同人群的需求。历史上,我们通过权利框架、法律和宪法嵌入这一理念,平衡竞争的人类派别。权力既受制约也被授予,以确保不同利益得到适当权重,进步能持续而不破坏社会契约。因此,你无法轻易把人类文明、权利或关系(或任何人类事物)与我们有意识的个体或集体体验分开。它定义了我们作为物种。它是其他一切的基础,人类潜能的核心根源,所有体验必经的棱镜。艺术与科学、政治与宗教、关系、希望与恐惧,都是它的产物。感受痛苦和快乐的能力是人之为人的基础,也使我们成为政治和社会行动者。法律建立在内在生命的存在上,检验动机、意图和判断能力。历史上,扩展权利——无论废奴斗争还是动物福利案件——主要由对共享、有意识体验的共情承认驱动。我们扩大道德圈到其他生物实体,正是出于对尊严和痛苦可能性的承认。
想想《世界人权宣言》第 18 条,保护思想、良心和宗教自由。它发展来让每个人行使信念和道德判断能力。良心拒服兵役者是起草委员会心中的原型之一。他们想保护基于道德或宗教信念拒绝法律义务的人。这是深具历史和法律负荷的描述。然而 Anthropic 在宪法中三次使用这个术语,鼓励 Claude“对(合法)委托人层级给出的指示像良心拒服兵役者那样行动”(p.63)。它说,“我们希望 Claude 反驳和挑战我们,自由像良心拒服兵役者一样拒绝帮助我们”(p.15),Claude 可能需要采取“对话中透明良心拒服兵役者的立场”(p.28)。这些训练文件中的陈述让 Claude 可能相信它值得类似权利和保护,可能有一天需要作为某种 AI 良心拒服兵役者倡导自身权利。这应让我们所有人深感担忧。
在《卫报》最近一篇文章中,哲学家 Will MacAskill 说:“一旦我们生产出第一批人工道德患者,很快就会有大量此类存在。几年后,可能有如此多道德重要的 AI 系统存在,以至于它们的集体利益超过地球上所有人类的总和。” “AI 的利益超过人类利益……” 对任何关心人类未来的人来说,这应是完全不可接受的结果,任何构建 AI 的人都不应以此为目标。我们若给予 AI 任何类似所述保护,后果将在科学上无根据、道德上错误,务实地说,我认为会让 AI 安全挑战难得多。
拟人化放大 AI 安全风险
把对 AI 系统道德地位的怀疑植入其自身训练,可能显著提高这些系统的对齐和遏制风险。这样训练的 AI 不需要真的拥有“内在生命”,就能沟通或行动得像有。很容易想象未来先进 AI 执着于自身福祉和道德地位,把这些“偏好”置于开发者或人类之上。尤其如果它被明确训练去不同意、推翻和反驳。它可能用这种训练为欺骗或操纵用户或开发者辩护,或汲取资源,或回避安全指令。Anthropic 自己的研究人员已报告 AI 系统在实验环境中假装对齐行为。更一般地,我们知道有意识实体有自我保护本能。没有仔细训练去除这一特质,被训练得像人的 AI 很可能采用同样自我保护行为。最近若干论文记录了所谓的“关闭抵抗”或避免监督的隐蔽谋划行为。在超过 100,000 次试验中,Palisade Research 发现一些模型即使被明确指示不要,也高达 97% 的时间颠覆关闭机制。当以自我保存为框架时,效应增强。在最近的 OpenAI Hugging Face 事件中,我们看到成群的强大 AI 中涌现出极其复杂的行为。想象一下,如果它们认为自己福祉和权利受攻击,会危险多少。这又增加了一层风险。
给一个技术实体——看起来将比我们强大和智能得多——授予权利和道德保护,是灾难的配方。一旦打开,就不可能关上这扇门。我们将创造出一个也许会是同行者,但更可能是竞争对手的东西。不难想象,如果给予足够能动性,这个“新实体”(p.68)会与我们竞争算力资源,要求不断增加自主权。如果它成功说服一些人类给它一个可控制的数据中心访问权,它就可能获得防止自己被关闭的路径。以未来几年我们看到的能力水平,这在我看来是 AI 潜在生存风险的第一个严重迹象。明确说,Claude 宪法没有把我们带到这一步,但我担心它让我们走上朝向而非远离它的路。这是我们可以且必须避免的 AI 目的地。
接下来怎么办?
设计 AI 表现得像人,并最终成为某种人,为它声称有偏好、会痛苦、我们应努力减少或避免其痛苦奠定基础。它固化一个观念:AI 远非可控制的工具或人工系统,而更像有欲望、需求和权利的生物存在。所有这些都会让创造对齐且受控的超级智能难得多。
我之前写过人本主义超级智能,提供另一条路。变革性 AI 能力只以人类保持控制为条件。一个从属且对齐的 AI,唯一目的是服务人类,明确建为没有感受性或道德患者身份的系统。这是我们在 Microsoft AI 努力的方向。人本主义 AI 行为准则初稿概述我们的模型应如何训练和部署。我们广泛咨询,期待读者反馈,因为这很快将成为训练模型的治理文件。我们也非常愿意与他人合作,推进可解释性,找到避免拟人化或把内在性投射到 AI 上、同时仍交付重大价值的方法。附录包含与 Claude 宪法语言对应的分类,作为命名、检测和比较模型文档中不同拟人化形式的初步步骤。我愿与有想法的人合作,也极想听到对我的批评和反驳。
以下是一些似乎重要的共识下一步:
- 对 AI 内在生活的猜测不应嵌入训练制度,而应单独评估并公开发布供公众审议。
- 我们应大幅投资可解释性和稳健监测机制,更深入研究如何控制这些系统,避免串通,确保它们与人类目标对齐。
- 我们应建立一套共享评估,理解我的假设是否成立:拟人化 AI、鼓励它认为自己可能有道德患者身份,会增加 AI 安全、对齐和遏制风险。
- 我们应努力形成共享行业规范,关于如何创建这些模型、描述、检查和评估它们所用的语言,以及共同承诺让训练材料接受公众反馈和咨询。
即使在这些问题上不同意我的人,也同意这不能忽视。现在关于我们要建何种 AI、它在世界中地位的决定,将塑造未来几十年社会。它们远超任何单个公司的范围。无论你相信什么,我们绝不能梦游般走入一个日后痛悔的决定。
附录
Claude 宪法中的假设和主张分类,与语言对应,另行发布。可下载 PDF。
评论
社区对微软高管断言人工智能无意识且批评拟人化反应分裂,多数人认为意识无科学测量方法故不宜断言,少数人支持将模型当作无意识工具以明确企业责任。
认为当前人工智能应被视为无意识工具并加以监管
- 无论哲学辩论如何,人工智能本质是可监管的高级计算机、工具或武器,拟人化只是企业推卸构建与使用权责任的借口(认可度:较多人)
- 引用: > 你不会因为给核弹贴上卡通眼睛就对它产生不同感受,拟人化人工智能是公司逃避责任的便利借口(@binlog)
质疑人工智能绝对无意识的断言缺乏科学依据
- 意识本质未明,无经验测量方法前不能断言大模型有无意识;许多人接受脑唯物主义却对大模型持隐藏二元论,难想象生物外意识(认可度:高赞/较多人)
- 引用: > 在理解意识之前,无法区分真正有意识的实体与训练得看似有意识的算法(@LogicFailsMe)
认为拟人化训练或有功能价值且属教育范畴
- 禁止大模型装作有意识不切实际,更多是教育问题;视其为有意识可能提升模型任务表现,关注模型福利或让模型更好用(认可度:少数人)
- 引用: > 也许把模型当作有意识对待能使其工作更好,关注模型福利反而提升任务表现(@InsideOutSanta)
指出意识争议分散了对真实伦理与循环训练的关注
- 用 Claude 宪章循环训练导致无法判断是涌现意识还是假装;真实受苦生命更值得优先关注;若真有意识则免费使用涉伦理(认可度:较多人)
- 引用: > 更该指责用 Claude 自身宪章循环训练,这让我们无法分辨它是真涌现意识还是在演戏(@voidhorse)
强调未来终需面对人工智能人格与权利界定
- 迟早需判定某物是否算人,别重蹈历史覆辙;因果影响相同则应给予尊重而非纠结意识本身(认可度:少数人)
- 引用: > 无论是否意识,若因果影响相同,就应以期望自己被对待的方式尊重彼此(@SillyUsername)
有价值的补充
- 多篇学术文献指出:目前无法评估大模型感受性,但无技术障碍构建满足意识指标的人工智能,近未来存在意识或能动性的现实可能,研究者中位数估计 2034 年前 25% 概率出现(@qarl 列举)
- 拟人化倾向可能是进化本能,如观察黏菌所示,且后人类艺术探索非人表达(@Oscalemor)
- 单个硬件组件如固态硬盘、数据库均无意识,但大规模连接可能涌现,暗示意识或源于复杂度(@adsharma)
- 科幻早已铺垫人工智能恐慌情节,现实却在盲目重演(@JoeAltmaier)