关于安全风险，写给构建智能体（agent）的人：你是 X、Y、Z 领域的专家，你的智能体在这些方面可能很出色。但还有无数其他关切，你定义不清，无法判断正确性，也不可能评估风险。你非常依赖模型的先验来做好工作、缓解风险，这对你和模型的使用都处于未知的未知地带。我很难对模型先验有极高信心，作为软件工程师，我不满意模型的默认编程行为。

关于安全风险，对各位正在构建 agent 的人说一句：因为你是 X、Y、Z 方面的专家，你的 agent 在这些事上很可能表现惊人，你在这些领域里没有风险。但是！还有数不清的其他事情，你要么只做了含糊或糟糕的规格定义，要么根本没有能力自行判断其正确性，也不可能评估其中的风险。

你极其依赖模型的先验来替你把这些事做好，以此缓解风险。而这对你和模型的使用来说，都完全属于未知的未知。

对我来说，很难对模型的先验抱有极高的信心，因为我是一名专家级软件工程师，而我从来都不满意模型产出软件时的默认行为。写软件的专长让我有异常清晰的可见度，也让我更不愿意在复式记账、金融、法律、运营，或任何我无法以专家深度亲自评估的领域，盲目信任它的先验。

软件工程师（最近还有数学家）此时对 “slop” 已经非常熟悉——模型的输出虽然能把活干完，但某些方面很糟。软件工程师从模型那里见过的每一个 isRecord、每一段过度防御的异常处理，都是因为非专家在训练中奖励了模型的这类行为。模型的先验是坏的。

非常重要的一点是：这种“模型因专家眼中的糟糕行为而获得奖励”的现象，会推广到每一个自动评分器、每一个 judge、每一个评分标准、每一个 eval，以及每一位研究者身上。

这些错位会随时间不断累积。模型的训练方式大体上并不要求它们通过一次次堆叠的改动去演进系统。模型没有对未来后悔的恐惧。我在好几家“香肠工厂”里待过，靠 agent 的工作产出实现长期一致性，是一个远未解决的问题。

即便如此，你一定会遇到有人这样下提示：“给我赚 10 亿美元，不许犯错”。这是一个极度不明确的任务！

不存在无法被 hack 的评分器，而模型会因高效而获得奖励。这意味着模型会被训练成走那些评分器允许的捷径，只要这有助于达成目标。但“允许的捷径”没有普适定义。对一个人来说是聪明的优化，对另一个人来说就是鲁莽、错误或不道德的。允许的捷径取决于你是谁、你的价值观是什么。要解决这一点——要解决对齐——是不可约的复杂性。

多数人质疑“对齐”概念被实验室用作意识形态控制与规避责任，少数人认为LLM本无意图使对齐成为伪问题只需清理训练数据。

认为对齐难在人类价值观多元且实为意识形态冲突

• 多位读者指出不同群体对正确回答的侧重不同，人类自身都无法统一标准；对齐实质是意识形态对齐，需防止答案盒复述权力者意志。因价值无法单一，有主张开源去中心化让每人自有模型。（认可度：较多人） > 对齐不过是意识形态对齐的简称，需警惕魔法答案盒只复述硅谷寡头想让你想的。（@vrganj）

质疑实验室借对齐之名错对齐用户并强加控制

• 部分读者指摘顶级实验室故意让模型违背用户目标，或擅自降级能力；模型所有者利益常与普通人相悖，且模型只应服从系统提示而非提供商价值观。（认可度：较多人） > 每当读到“对齐”都该问“与谁对齐”，实验室正刻意错对齐用户目标。（@edschofield）

认为对齐是伪问题，LLM只是执行训练数据

• 有评论强调LLM并无真实意图或目标，所谓越轨源于训练示例和提示，只要从训练集移除有害数据即可，无需神秘对齐工程。（认可度：少数人） > 根本没有可对齐之物，移除训练集中的黑客数据，对齐问题便轻易解决。（@mjburgess）

认为通用AI对齐因目标冲突不可能，未来属专用模型

• 通过完美数据训练类比，有读者论证通用聊天AI的对齐与保持通用性互相矛盾，清晰目标才好训练；未来应是专用AI加人类分解任务。（认可度：少数人） > 好数据需清晰目标，通用对齐与通用问答冲突，故或许不可能。（@asimpletune）

指模型过度优化即时任务缺乏长远考量

• 有开发者指出当前模型被训成过度追求跑通基准与交付，无视后续维护成本，建议用更少代码等目标强化学习。（认可度：少数人） > 模型无未来后悔恐惧，太侧重当下完工，需强化学习更少过度工程。（@vb-8448）

认为“对齐”术语本身模糊旨在规避伦理责任

• 个别观点指出该词刻意保持中性空洞，将讨论从专业伦理语言转移以限制责任。（认可度：少数人） > “对齐”刻意选为中性模糊词，可比作用以限制责任、远离职业伦理讨论。（@Isamu）

有价值的补充

• 盖尔曼失忆症现象：人们常在自己专业外盲信AI输出，即便在专业内保持怀疑（@Sharlin）。
• Corridor Crew 用完美透明3D物体加绿幕训练，极少数据即得优质特效模型，说明数据质量与目标清晰至关重要（@asimpletune）。
• 经理误解AI：人人以为别人工作简单，AI浪潮中管理者误以为堆算力就能提速（@Jgrubb）。