Hacker News 中文摘要

RSS订阅

谷歌移除AI健康摘要功能,调查发现存在严重缺陷 -- Google removes AI health summaries after investigation finds dangerous flaws

文章摘要

谷歌因调查发现其AI生成的健康摘要存在"危险"缺陷,已移除部分相关内容。该问题涉及多个州的用户数据隐私权问题,用户可选择退出定向广告。

文章总结

谷歌删除部分AI健康摘要功能,调查发现其存在"危险"缺陷

根据《卫报》调查发现,谷歌已移除其AI健康摘要功能中的部分内容,原因是该功能向用户提供了可能危及生命的错误医疗信息。这项名为"AI Overviews"的功能会在搜索结果顶部显示由人工智能生成的健康信息摘要。

调查发现的主要问题包括: 1. 在查询"肝功能检查正常范围"时,AI提供的数值范围与医学标准存在偏差,且未考虑年龄、性别等个体差异 2. 关于胰腺癌的建议错误地推荐避免高脂肪食物,这与医学界普遍建议患者保持体重的指导相矛盾 3. AI以权威口吻呈现的摘要缺乏必要背景说明,可能导致患者忽视实际病情

英国肝脏信托基金会指出,这种错误保证可能造成严重后果。尽管谷歌已禁用部分问题查询,但通过调整关键词仍可触发存在问题的AI摘要。

谷歌回应称,其AI摘要"绝大多数提供准确信息",并有临床医生团队参与审核。但专家指出,该系统的根本问题在于其依赖可能被操纵的网页排名数据,并以看似权威的方式呈现可能存在偏差的摘要。

这并非该功能首次引发争议。此前,AI摘要还曾给出"在披萨上涂胶水"和"吃石头"等荒谬建议。有用户发现,在搜索中加入脏话可以完全禁用该功能。

(注:原文中大量关于网站设置、广告偏好等无关内容已删除,仅保留核心新闻报道部分。)

评论总结

总结评论内容如下:

  1. 对医疗AI可靠性的担忧
    多位评论者认为医疗领域AI存在严重风险,应谨慎应用。

    • "healthcare is a space to focus on human in the loop applications...before replacing them"(dreadsword)
    • "Google hallucinated a bunch of stuff...they needed to put a stop to LLMs slopping about health info"(leptons)
  2. 批评Google AI摘要的质量问题
    用户指出AI摘要常混淆事实与虚构信息,尤其在医疗和游戏领域。

    • "mixes one source of truth with one source of fantasy...ridiculous inaccurate summaries"(InMice)
    • "readily spit out the dumbest pseudo science...finds dumb shit on the internet"(bjourne)
  3. 质疑监管缺失
    部分评论者强调医疗AI应受FDA等机构监管。

    • "where is the FDA when it comes to enforcement?"(SirIsaacGluten)
    • "opens up a world of liability"(myhf)引用FDA关于医疗设备软件的链接
  4. 不同公司的策略对比
    有评论注意到OpenAI与Google的医疗AI策略差异。

    • "vastly different approaches to AI safety"(ipython)引用ChatGPT Health服务
    • "google doesn't trust its own product..but openai are happy to lie?"(nickphx)
  5. 对AI技术滥用的批评
    部分观点认为企业为增长牺牲可靠性。

    • "incessant peddling rids AI of the good name"(chanux)
    • "infinite growth or nothing is the name of the game"(chanux)
  6. 讽刺性支持
    个别评论以反讽态度看待AI健康建议。

    • "chatGPT told me I am the healthiest guy...I believe it"(jnamaya)

关键争议点:医疗AI的可靠性是否足以支撑实际应用,以及企业是否应承担更大责任。