一项测试发现，人工智能（AI）聊天机器人在回答金融查询时，大多数情况下会给出错误答案。测试覆盖了多款被广泛使用的AI助手，结果显示其准确率持续偏低。参与者就理财、投资等金融问题向这些工具提问，错误回答占据了多数。

人工智能聊天机器人在“大多数情况下”对金融查询给出错误答案

讨论的多数火力对准了这份评测本身——测试对象是弱模型、条件过苛、发布方还兼卖"人+AI"投顾；少数人则坚持，就算报告有瑕疵，把真钱决策交给聊天机器人仍然要打问号。分歧的真正轴心是：该用带工具、带推理的强模型来评判 AI 的金融能力，还是继续拿零样本单轮问答当标准。

报告本身站不住脚：弱模型、不可复现、判分过严，还有利益动机

• 报告里大部分反面案例来自 Haiku 这类轻量模型，而且没有可复现的题集，任何了解 LLM 的人都不会拿它做严肃金融问答（高赞）
• 发布方本身在卖"人类顾问 + AI"的组合服务，结论"AI 单独不可靠"恰好利好自己，这种自证式研究需要格外打折（高赞） > 一家卖人机混合投顾的公司发现纯 AI 建议不靠谱，真让人意外。（@chilmers）
• 另有人指出评测采用零样本、不给示例、不给修正机会，且以"每个要点全中才算通过"的 LLM 裁判标准打分，这种严格到失真的口径很容易把部分正确的回答判为失败（较多人）
• 付费墙也让很多人只能看到模糊的二手摘要，无从核实原始问题长什么样（较多人）

亲自复测后发现报告举的错例其实是答对的

• 有人下载原始报告，把其中被点名为"答错"的题目喂给报告称同样测过的 Grok，结果两题都答得正确且详尽，包括报告点名 Grok 答错的那道（较多人）
• 由此推论：出题方式本身就在刻意制造歧义，测试者可能期待模型答错，而金融从业者又在这类结论中获益（较多人） > 我先入为主的判断是：人们不擅长测试工具，而且他们本来就希望模型答错。（@bluecalm）

关键在于有没有用工具和推理，而不是模型本身

• 单轮直答和开启推理模式差别巨大，后者显著减少幻觉、提升输出质量，不用推理的模型不值得信任（较多人）
• 不调用工具去实证查询市场现状、税法更新，模型不可能给出现实中可用的财务答案，工具调用基本能解决这个问题（较多人）
• 给足上下文时，模型在个人理财原则上表现不错，甚至超过大多数人能接触到的理财教育；但让它自行填补缺失信息就不可靠，且训练滞后使它在税务等时效性话题上不可信（较多人）

即便评测有瑕疵，涉及真金白银仍然要谨慎

• 有从业者反馈，模型会在百万量级上编造错误，面对训练数据里没见过的财报版式尤其吃力，想在财务工作流里加 AI 目前行不通——不过查法规条文这类检索式任务已经可用（较多人）
• 有人对 AI 的日常体验是"多数查询多数时候答错"，要拿到可用结果得配像编程那样的外挂框架和客观指标（较多人）
• 垃圾进垃圾出：人类财务顾问给的也常是垃圾，这不构成给模型开脱的理由（较多人）

相比拿回扣的人类投顾，宁可要一个没有偏见的模型

• 人类顾问常常推销能拿返佣的产品，给出的建议同样次优；一个拿 bogleheads 这类社区内容训练出来、不带销售动机的 LLM 反而更容易接受（少数人）

这不是金融特例，只是大厂还没把金融排在优先级上

• 每当某行业说"AI 做不了我们这行"，真实原因是该能力还没被重点做 RL 训练；实验室优先解决编程，因为杠杆最大，甚至顺带解决了定理证明，而它本质上也是代码（较多人）
• 把当前市面上的产品和"技术本身"混为一谈是经典误区，很快会有金融专项模型出现，届时这类结论会瞬间过时（较多人）

有价值的补充

• 官方口径的测试细节值得单独记住：每题跑五次，每个模型测 600 次，总计评估超过一万个问答；全部零样本，不给示例、不给上一轮对话、不许自我纠正；由 LLM 担任裁判，且只有全部要点命中才算通过。理解"全对才算过"，才能理解 57% 这个数字。
• 报告也承认带推理的 Opus 5 在金融问题上仍失败 39%，这一条比弱模型的表现更值得认真对待，尽管它同样受制于上述苛刻判分口径。
• 同一话题在站内还流传过一篇结论相反的报道，有人点出：没时间读原始研究时，人们只会选择符合自己偏见的那一篇。与其站队，不如先问怎样让这类讨论有可比的评测标准。
• 模型在财报这类版式陌生的数据结构上确实容易出错，而监管条文检索类任务已经稳定可用——把"金融"拆成具体子任务来看，结论会清晰得多。