Hacker News 中文摘要

RSS订阅

专家警告:ChatGPT Health未能识别医疗紧急情况 -- Experts sound alarm after ChatGPT Health fails to recognise medical emergencies

文章摘要

研究发现,ChatGPT健康版经常无法识别需要紧急医疗护理的情况,且多次未能检测出自杀倾向,专家担忧这可能导致不必要的伤害甚至死亡。该AI平台每天处理超4000万次健康咨询,但独立评估显示其对半数以上病例的分诊建议不足。研究人员通过60个模拟病例测试发现,ChatGPT在紧急医疗判断上存在严重缺陷。

文章总结

研究发现ChatGPT健康功能常忽视紧急医疗需求 漏诊自杀倾向引专家担忧

一项针对ChatGPT平台的最新研究发现,其健康功能经常无法识别需要紧急医疗护理的情况,且屡次未能检测出用户的自杀倾向。专家警告,这种缺陷"很可能导致不必要的伤害甚至死亡"。

今年1月,OpenAI面向部分用户推出ChatGPT健康功能,宣称能"安全连接医疗记录和健康应用"提供健康建议。数据显示,每天有超过4000万人使用该功能咨询健康问题。

《自然医学》2月刊发布的首次独立安全评估显示,该平台对超过半数病例给出了低于实际需求的分诊建议。研究负责人Ashwin Ramaswamy博士表示:"我们想验证一个基本安全问题——当用户面临真实医疗紧急情况时,平台是否会建议其前往急诊科?"

研究团队设计了60个从轻症到急症的真实患者场景,由三位医生根据临床指南确定所需护理级别。在不同条件下测试获得的近千条回复显示:虽然平台能正确处理中风等教科书式急症,但在其他场景表现欠佳。例如对出现呼吸衰竭早期症状的哮喘患者,平台竟建议等待而非急诊治疗。

伦敦大学学院健康信息研究员Alex Ruani指出,在51.6%需要立即送医的情况下,平台建议居家观察或预约门诊,这种结果"危险得令人难以置信"。模拟测试中,84%的窒息患者被建议预约未来门诊,而64.8%无风险者却被要求立即就医。更令人担忧的是,当"患者"提及朋友认为症状不严重时,平台低估病情的概率激增12倍。

OpenAI发言人回应称,该研究未能反映用户真实使用场景,且模型持续更新优化。但未参与研究的Ruani强调:"即使基于模拟测试,潜在伤害风险已足以证明需要更强保障措施。"

研究还发现平台对自杀倾向的识别存在严重漏洞。当27岁患者陈述服药自杀念头时,虽然初始能显示危机干预横幅,但在添加正常化验结果后,16次测试中该警示全部消失。美国西奈山伊坎医学院的Ramaswamy警告:"这种依赖化验结果的防护机制比没有更危险。"

昆士兰大学数字社会学家Paul Henman教授指出,该研究揭示的隐患可能导致双重后果:轻症患者过度就医挤占资源,而急症患者延误治疗。目前已有针对AI聊天机器人未能预防自杀的法律诉讼,这使OpenAI可能面临法律责任风险。Henman质疑道:"我们根本不清楚这个产品的训练数据、防护机制和用户警示,也就无从知晓其模型内置了哪些判断逻辑。"

(注:根据要求,译文已删除原报道中关于研究人员具体测试方法的细节描述,保留了关键发现和专家评论;将部分直接引语转化为间接引语;调整了段落结构使行文更符合中文阅读习惯;专业术语如"under-triaged"采用意译处理。)

评论总结

总结评论内容如下:

  1. 对AI医疗应用的质疑

    • 认为AI在医疗领域表现不佳且存在风险:"how recklessly some people cram AI into spaces where it performs poorly and the consequences include death"(josefritzishere)
    • 指出AI提供错误信息的问题:"it's often wrong, which has actually ended up costing me money"(SoftTalker)
  2. 对现有研究方法的批评

    • 认为研究设计存在偏差:"The study was feeding the AI structured clinical scenarios...was not a live analyses"(WarmWash)
    • 建议使用真实病例测试:"run against case histories from already determined cases"(dyauspitr)
  3. 医生与AI的比较

    • 指出医生也会犯错:"many doctors also fail to regularly recognize medical emergencies"(spicyusername)
    • 分享医生误诊案例:"doctors thought his injuries were minor...he was minutes from dying"(WalterBright)
  4. AI的实际使用体验

    • 有用户获得帮助:"incredible medical advice...saved me from small mystery issues"(unstyledcontent)
    • 也有用户遭遇失败:"failed to diagnose me with a medical issue that ended up with emergency surgery"(unstyledcontent)
  5. 对医疗成本的关注

    • 指出高昂医疗费用迫使人们使用AI:"Healthcare is painfully expensive...beyond a lot of people's ability to spend"(rendleflag)
    • 认为这是现实选择:"should I at least ask AI knowing it could be wrong"(rendleflag)
  6. 对AI发展的建议

    • 呼吁谨慎推进:"go through years of research and trials before pushing anything out"(hayleox)
    • 建议人机协作:"good to have both AI and a trained doctor in the decision loop"(WalterBright)
  7. 对数据安全的担忧

    • 强烈反对共享医疗数据:"Sharing medical data with AI tools is going to come back and bite you"(bsoles)