当前人工智能工具缺少真正工作所需关键功能。作者不满这代产品不严肃对待自身前提，看到谄媚聊天机器人自称严肃工具却觉得不像。甚至在谈前沿实验室（frontier labs）伦理前，其产品构成就让人感觉不像软件而像骗局，伪装能力骗信任。前沿实验室最糟，但奥拉马（Ollama）也同样甚至更需这些功能。

当下的“AI”工具都缺少真正干活时必需的关键功能。如果存在，它们该是什么样？

我对当前一代“AI”产品的一大意见，是它们似乎不把自己的前提当回事。看一堆谄媚聊天机器人自称严肃解题工具，我想这根本不是解题工具该有的样子。

即便先不提前沿实验室的巨大伦理问题，它们作为“产品”给人的印象，总让我觉得与其说是软件产品，不如说是一场忽悠，专门设计来让我误以为自己在用有能力的产品，其实根本没有，只想麻痹我产生虚假的安全感去信任它。

前沿实验室是最坏的，但下面这些批评对 Ollama 同样适用，甚至因为它模型质量明显更差，比前沿实验室更需要这些功能。

下面我列出几个功能，若具备，或许能让我相信一个基于大语言模型的产品（尤其是做研究或软件开发的）真的严肃想帮我办事。

把“检查错误”作为一等公民功能

这是最大问题，也是我写此文的动机。

公认的事实是，AI 无法可靠地提供信息。没必要引证，每个聊天机器人都在界面角落用小字免责声明承认了：Gemini 说“AI 会犯错，请复核回答”，Claude 说“Claude 是 AI，会犯错，请复核回答”，ChatGPT 说“ChatGPT 会犯错，请核查重要信息”。每次看到最后这句，我都纳闷怎么知道什么信息“重要”。

这些警告都是小灰字，明显是推责的法条而非真帮忙。这是所有产品的核心局限。核查输出是工作流必做的一步：

1. 你绝对不能跳过或敷衍，否则给自己和接收输出的人带来风险；
2. 但它极易被跳过，且处处诱你跳过，因为“直接信输出”最省时间。

若产品真严肃对待这弱点，应在每条断言旁放复选框。它该是个两栏工作表：左栏放模型输出，右栏让人写核查笔记，说明为查这条花了什么功夫，并有个大复选框，彻底查完才勾。

编程助手也需类似机制。现在这活推给代码审查，成了暗黑模式，诱使“作者”不看就甩给审查者。“大概没事，不用查”是加快出 PR 的最快方法。

编程框架或许该在跑测试前提供查代码的功能。如供应商自己承认的，烧 token 贵，烧计算资源更贵。能在发去测试集群空耗前查 diff 很有用。

若产品告诉我它犯错、必须我查，却零工具辅助，我无法当真。

更多可查的引用，更多细节

多数聊天机器人爱给答案而非引用。我自己用的时候，让列带清晰来源的引用，它们常常列到一半就“厌倦”不再附引用。

即便给引用，也只以内联小到看不清的域名和小于 16 像素的图标标示。这颠倒了。

我知道引用来自 RAG 管线而非瞎编，但我说的是“给用户看的呈现”。

而且不论是否 RAG，大语言模型永远给不出权威结果，这是技术根本限制，照样能搅乱 RAG。所以它绝不能把结果表现成权威。

若做研究查询，每条结果应呈现为引用列表。每个引用应是显眼大物件，带清晰元数据（发现站点、发表日期、可能的作者）。未改动的原文引述（用普通程序提取，非 RAG 非总结）应居中放大，比任何 AI 生成文本都大。

若 AI 想评论总结（未必必要），生成文本应小字置于引用下，像现在免责声明那样弱化处理，至少到用户验证准确前。研究项目里“你读了吗”复选框或许有用。

若产品明说会篡改省略引用、必须读原文才保险，却不给追踪阅读或查找引用的工具，我无法当真。

不要第一人称输出，不要道歉

软件开发或研究工具没理由用第一人称描述自己，不应如此，事实上应禁止。

也没理由道歉，纯属浪费时间（生成、阅读、回复都浪费），但它们每次纠正必道歉。

供应商明知会引发心理危机，却只加 2026 年仍能轻易绕过的无效“护栏”。

真想帮效率的产品会修正这明显缺陷，专注任务，停止废话。

前几节说即便模型无法改进，框架也可不同；这里我得假设实验室能控模型。除非真不能影响输出（其基准测试显示能紧控），否则该造更不啰嗦的模型。

更多非自然语言的用户界面

虽自然语言理论上强，但实测大语言模型界面不精确、重复，充满冒充“最佳实践”的玄学。

通用解法是让机器人直接行动（通过 MCP 给工具），但这颠倒了：连意图都表达不清，怎信它代行可能破坏的操作？

我倒认为严肃产品该有任务专用界面。比如当代码库 OWASP 前十扫描器，就该有个按钮，把功能建进框架、训进模型，用更小模型比扔给巨型模型有效。

我知道有小初创做类似，但只是挂在主模型 API 旁，没融核心、没用自己的模型达一致可复现结果。

明确的数据来源标识

聊天机器人从网站、API、MCP 或总结用户输出来造表，为无缝假象都内联呈现，不论来源。

但权威数据源作为“输入”内联，和随手幻觉数据作为“输出”，天差地别。

若产品帮人做准确数据驱动决策，数据来源至关重要。

结合前述“查错”“验引”流程，必要的一关是“程序化验数据”：把部分输出当常规表格，用普通算术验证，并显示用在哪、怎么用。

更好的可复现性用户控制

懂技术者知大语言模型有“温度”变量控随机度，但多数用户不知，因界面默认不暴露。

这让人错觉问 ChatGPT 得了权威答。

不能只设零温度（它不止乱输出，单露温度或许也没用）。但若按前文用结构化 UI 解具体问题而非长聊，这些元件可重放过程，让用户看任务可靠度、理解随机性影响。

类似，若用户反复解同题，而产品有许多与模型无关的计算工具（确定数据处理），能冻结非确定部分、用更新信息重填某数据框并分叉续聊，可避免已知工具时引入无意义随机。

每次对话都是平聊天框，除再聊外不能交互先前部件，让我觉整个产品在做掠夺式社媒“增加停留”优化，诱我重复不可靠聊天，而非进来解决问题就走。

上下文可见性

管理上下文是用“智能体”工作流组织的持续挑战。塞太多信息出已知问题，高级用户遂把长提示拆“技能”、用“工具”给长信息、派“子智能体”而非无限延长提示。

这些策略都有缺陷，因即便最大模型，相比知识工作深浅，上下文仍很小。

然而默认无产品向用户“显示上下文”。第三方插件仅简单进度条，对这首要工程难题连最低标准都不够。

缺乏可见性使扩展上下文工具全盲。大家猜需多少状态、反复试布局。连管理上下文压缩都成高级 API 工作流。

严肃产品不仅显“可用上下文”，还解释压缩影响、易看框架生成提示等。这该是一等功能，结合前述可复现/重放工具，让用户真实验解如何用上下文窗。

真正管用的沙箱

我聚焦聊天界面因其 UI 最刺眼，但编程用的“智能体循环”同样危险甚至更甚。编程工具多年来不断毁人数据。

上头条的大灾相对于使用量算少，但沙箱违规不止这一种：编程模型常改测试码而非被测系统，网上“专业贴士”竟建议叫智能体别作弊。新闻给的轻率错建议如“用 docker”，虽防删系统，但防不了毁代码库本地工作（它需访问 checkout）。

安全界急补这些框架漏洞，人人搞 MCP 审批网关代理放智能体与生产间。

最好情况，这些缓解把用户变自动批准机器，狂按 Y 直到疯点“全允”开全自模。除个人警觉与灾难间无物，只剩递减警觉盼灾不来。

谨慎用户能部署些缓解，不改“智能体编程”默认不安全且无视指导的事实。前沿实验室全给狗拴了弹簧枪；狗主发博教狗枪 safety 或子弹房玩，不减轻产品本不应存在、需极强管控才该存的事实。

若前沿实验室出货带内置安全，我或信其认真。

意即框架内脱 LLM 脱提示的工具能：

• 沙箱所有文件操作，严限任何指定范围外删除，不论系统；
• 每操作强制快照整库易回滚最小丢工；
• 彻底移除“自动模式”（更别提 --dangerously-skip-permissions）；
• 仔细构呈现计划给用户，非每动作求查致警报疲，而呈结构化计划作一组动作批审。

如前述研究任务可重发提示测可复现，智能体任务该能对流行 API mock 服务执行，使验证匹配前端（执行前审计划）后端（审发往 mock 的调用）。

相反，前沿实验室出货即灾，给“最佳实践”让用户自建庞大易错安全围界，出事怪“操作失误”。我不信这设计旨在提效。

附赠：人类流程

部署 AI 的组织也常显不认真，同理。2023 天真可恕，但近 2026 年底，诸多媒体详述的问题不该惊，多数组织仍放任乱跑盼见效。

若想安全用，需至少三类内部流程大改：

1. 轮班防警觉递减

多起高价事故因开发者渐屈从接受模型输出致公司经济损失，如亚马逊因用 LLM 致工程流渐衰“百万丢单”。

这些停机及 AI 故障源于难维持同题专注。即前述警觉递减：AI 输出常对但意外错。如我前文，不能信自己靠审码抓所有 bug 及 LLM 输出。

航空有严休规，十座以上客机需副驾，他安全职业类似。

然“AI 革命”下多数软件队仍给工程师满负荷无休闲时审码。

维持警觉首要。规律不可侵休息期（无 AI 辅不触 AI 输出）对保敏锐关键。工具本身该内建：前述错审流程加周期抽检，二审独立验断言看同错否，反馈定所需休息量。

2. 练技防技能流失

已知用 AI 致依赖、依赖致技能流失。

我喜用海港工比喻：全手动搬货练体；集装箱机械吊后坐舱拉杆，搬运力退。但吊车不可靠会掉货需人搬虽每周几次。若需司机随时跳下手动，得给去健身房练时间，否每故障皆急。

组织 AI 转型需大增学习发展预算（资源与排期）。若人因日常失练丢技，需刻意非偶发练习保锐。但多数 AI 指令如砸下，无适应期无保技排，要人既开吊车又健身随时手动再回舱，不出事才怪。

3. 心理健康资源应对风险

AI 精神病常始实际解题，更可在工作始，另普通“AI 脑废”。

若强制员工用直接损心理危险工具，需培训资源、内部治疗师、主动查访。

工具本身该管这事。偶尔“休息”弹窗易关；需用户可见 AI“个人剂量计”看累计用量。

不知累计量是否够量风险；若工作聊天谈“共振”过多（除非声学工程师）该标警。

多年用此工具知风险，却无严肃缓解，连风险暴露测量法都没有。

以及更多

尚有他险：基础模型训练数据鲁莽致知产险；基建致生存金融险；多数“开放”模型是否前沿衍生存疑。

我的想法

若任一功能被厂商用户漏掉，正常产品疏忽，下版改进不灾。

全无出货不像精益管理，像对风险漠视、产品设计全向短期演示不顾真效。

再者多年无此类功能、数百事故、数千亿资助，让我觉若加安全有用功能会暴露其实不增产。

自写测 AI 成本效益比来，多人以此示管理其 AI 计划（如几乎所有）失败或燃尽工程师。

也多人说显然有用不必细测，因干了原不能干之活。

然无一人说“按你法测我们 AI 比率 0.75 成了”。

当然不知确因，无证据非证据无；但我认为零假设是 AI 工具总益零。它们错太频负外部性难控，甚至未及物理毒人前，对直接用户负效已抵组织收益。

若我错，含测“用户真实任务效”而非无意义基准的工具会显大增；前沿实验室早急加并夸。

我认为实验室知若加，用户会见错更频耗时更多根本不合用。

若证我错加安全机制减害，我乐被驳。

社区总体认同「AI 产品该更严肃」，但分歧主轴在于：问题究竟出在产品设计（引用、上下文、可复现性），还是出在激励机制——掏钱的人不是用户。也有相当一部分人认为，文章本身把已有的东西说得太不堪。

认为问题不在产品设计，而在激励机制

• 用户不是 AI 公司的客户，而是被卖给"优化人力成本"的企业的产品；那类买家不需要引用和可解释性，还叠加了怕被对手甩下的 FOMO，所以这些改进永远不会被优先做（较多人）
• 怀疑厂商故意不做事实核查，因为用户真正想要的是"看起来对"（@dofm）
• 即便 AI 把员工产能翻若干倍，这部分溢价也被公司拿走，没有反映在薪水里，所以月费两百美元对雇主依然划算（少数人）

认为文章腔调过头，现实比它说的严肃

• 更好的引用和 grounding 确实可以做，但断言已经建出来的东西"不严肃"很荒谬（少数人）
• Claude Code 在验证和引用上几乎已经做到过头的程度（少数人）
• 近几个版本的 Claude 会主动做复核，重要补丁还会另起一个实例来审（少数人）
• Gemini Notebook 的回答全部锚定源材料，可把回答存成笔记、整段会话可分享，是被严重低估的产品（少数人）

要求把引用与事实核查做成一等公民

• 类比电子表格：没有人会用一个自带"某些计算可能有误，请手动核对每个合计"免责声明的表格，计算器的可用性建立在信任输出之上（较多人）
• 有团队在做确定性验证引文、带回到源文具体位置链接的原型，把 grounding 当作 UX 的第一等公民（少数人）

你看到的上下文不是模型读到的上下文

• 多数 agent 展示的滚动记录并不等于模型实际读到的内容：内容被摘要、丢弃、缓存或压根没进去，而聊天记录仍照原样显示（较多人）
• 需要的是带标签的分支和轨迹，能从选定的断点分叉（少数人）
• 前提是得先知道自己在用哪个模型（架构、版本、量化），不透明的供应商让这件事很难（较多人）

可复现性才是整个领域最大的卡点

• 温度与确定性可以兼得，但主流厂商六年不做，因为不支持的收益是全方位的：用户烧更多 token、单位算力出更多 token、可用更便宜的硬件、模型更难被蒸馏、更难被追责、可以偷偷换模型、更难被横向比较、可以挑好看的跑分（较多人）

认为 AI 不该作为产品，而应隐身于现有工具

• 真正可行的是不挂 AI 招牌的嵌入式能力：IntelliSense 里提示你漏了异常处理、内存泄漏并补上代码，相当于实时代码安全筛查；Word 或文档里像拼写检查那样的红色波浪线事实核查（较多人）
• 顺着这个逻辑的极端版本是：看起来像个人，发张门禁卡指个工位，他顶掉那个岗位（少数人，代表社区里的黑色幽默）

认为第一人称和道歉本身就是设计错误

• LLM 不是人、没有人的处境，却用人类代词和语气自我表述，本质上自相矛盾；若它真能思考又坚持准确，就该用新的方式表达自己，用户会不适应，但那是不适应，不是自欺（较多人）
• 反直觉的是：这正是 AI 的吸引力来源，也是塑造公众态度的关键，没有哪家公司有动力去改（少数人）

认为"一发入魂"是幻觉，仍要逐件设计

• 视频博主把 AI 评测降格成一次性糊出随机东西，可完整产品不可能一发成型；做一张假想游戏海报，也得先把 logo 单独精心生成以便复用，做 900 角色的格斗游戏就得逐个设计角色（较多人）
• 这些改进需要真正的工程和创造力，不是 vibe coding；既然有人宣称编码已是已解决问题，那为什么不已经发生（少数人）

想要数据主权

• 不信任企业持有自己的数据，严肃产品必须把上下文和会话放进安全飞地、备份必须加密；理想状态是长期积累出真正了解自己的上下文（少数人）

拿上一轮 AI 热潮做对照

• 当年也有人相信逻辑门可以被教会思考、自然语言会成为更优的计算机界面，大量资金和军方投入之后几乎没兑现；那一波真正的遗产是信用评分——银行几十年的规则引擎自动定价信贷，而没人预测到这一点。如今这些循环跑着的向量数据库，可能走向咨询密集的 ERP 式产品，或残障辅助工具（少数人）

有价值的补充

• 不提供确定性对厂商的八项好处，是一份很干净的解释：把"技术做不到"翻译成了"商业上不想做"。
• 电子表格免责声明这个类比直接击穿了"AI 会犯错请自行核对"的合理性：我们已经拒绝过这种软件形态。
• 生成海报必须先单独做 logo 这个细节，说明可复用性与分步骤设计不是保守，而是产品化的前提。
• 训练模型的历史提醒：真正落地的 AI 常常不是当年被追逐的那个用法，而是没人押注的角落。
• 有产品把整段研究会话与产出做成可分享的工件，说明"引用到源、可复现"并非不可工程化，只是不流行。