安大略省审计发现医生使用的AI笔记工具经常犯基本事实错误，表明当前医疗AI在记录准确性方面存在明显缺陷。

安大略省审计发现医生使用的AI笔记系统频繁出现基础事实错误

根据安大略省审计长办公室的报告，该省医疗系统中使用的AI笔记系统存在严重问题。报告显示：

1. 主要问题：

• 60%的受评估AI笔记系统混淆了患者用药信息
• 9/20的系统会编造虚假信息，包括添加从未讨论过的治疗建议
• 12/20的系统在患者笔记中插入错误的药物信息
• 17/20的系统遗漏了患者心理健康状况的关键细节

2. 评估缺陷：

• 系统评估标准不合理，仅4%的评分基于医疗记录的准确性
• 30%的评分权重取决于供应商是否在安大略设有办事处
• 隐私和安全评估仅占总评分的6%

3. 现状：

• 目前已有5,000多名安大略医生使用该AI笔记系统
• 官方称尚未收到因此技术导致患者伤害的报告
• 审计报告建议医生应手动检查AI生成的笔记

该报告对医疗AI系统的可靠性提出了严重质疑，特别是在处理关键医疗信息时的准确性问题上。审计发现的问题主要集中在系统会虚构内容、遗漏重要细节以及混淆基本医疗事实等方面。

评论内容总结

1. LLM会议记录的不准确性

• 观点：LLM在会议记录中可能遗漏细节或误解讨论内容，尤其在非线性和技术性讨论中表现不佳。
• 论据：
  • 作者zOneLetter提到LLM错误记录了承诺事项，导致高层误解（"miss the mark when the discussion is not very linear"）。
  • rainsford指出AI在基础事实（如单位转换）上频繁出错，质疑其可靠性（"fails at the important details"）。

2. 医疗领域应用的局限性

• 观点：AI在医疗记录中可能混淆关键信息（如药物名称），但人类错误率同样存在。
• 论据：
  • ceejayoz引用审计结果称60%的AI系统混淆药物，但认为人类错误率相近（"60% sounds about normal lol"）。
  • Hobadee建议结合录音时间戳验证AI记录，但HIPAA合规性可能限制此类方案（"critical for things as important as healthcare"）。

3. 对AI技术发展的分歧

• 观点：部分人认为当前AI技术存在根本缺陷，无法实现真正的可靠性。
• 论据：
  • rainsford认为AI的基础错误模式持续存在，技术进步无法解决（"continued advancement isn't going to actually address those problems"）。
  • nothinkjustai直接批评LLM缺乏意图理解能力（"no capacity for intent"）。

4. 潜在风险与合规问题

• 观点：AI在敏感领域（如医疗）的应用可能引发责任问题。
• 论据：
  • jqpabc123称AI是"liability issue waiting to happen"。
  • dmix质疑政府推动的AI医疗记录软件质量（"wonder what quality software the ministry would push"）。

关键引用保留

• 技术局限性：
  • "holy hell does it miss the mark"（zOneLetter）
  • "fails at the important details... like a zombie"（rainsford）
• 医疗领域：
  • "60% sounds about normal lol"（ceejayoz）
  • "critical for healthcare"（Hobadee）
• 根本性质疑：
  • "no capacity for intent"（nothinkjustai）
  • "liability issue"（jqpabc123）