AI给错诊断后，一段流畅解释让普通人准确率下降21.1个百分点
一项覆盖623名普通参与者和153名基层医生的实验发现：医疗AI总体能够提高皮肤病判断表现，但当错误诊断配上一段自然流畅的LLM解释，普通人的准确率反而下降21.1个百分点。真正需要审计的，已经不只是模型答得对不对，还有它怎样说服人。
医疗AI最危险的时刻，可能不是沉默，而是把错误解释得很像回事
同一个AI界面，为什么能帮助医生，却更容易带偏普通人？
一项覆盖623名普通参与者和153名基层医生的实验发现：医疗AI总体能够提高皮肤病判断表现，但当错误诊断配上一段自然流畅的LLM解释，普通人的准确率反而下降21.1个百分点。真正需要审计的，已经不只是模型答得对不对，还有它怎样说服人。
屏幕上是一颗颜色不均、边缘模糊的黑痣。AI判断它是普通痣，并给出一段听起来颇为专业的理由：形状大致对称、色素分布尚均匀，没有明显恶性特征。
问题是，答案错了。
如果屏幕只显示一个错误标签，使用者或许还会迟疑；一旦标签后面跟着完整句子、医学词汇和貌似连贯的证据，错误就获得了一副“经过推理”的外观。8月4日发表于《Nature Medicine》的研究表明，这种外观会真实改变人的判断，而且对不同专业水平的人影响并不相同。
过去几年，医疗AI的核心问题常被表述为：模型准确率能不能超过医生？这项研究提出了更接近部署现场的问题：当AI与人组成一个决策系统，最终表现取决于模型、人，还是两者之间那层界面？
不是一次“AI对医生”的比赛
研究团队设计了两项互补的在线实验。
第一项招募623名没有医学背景的普通参与者。他们要查看皮肤图像，判断是黑色素瘤还是普通痣。每人只看12张图片；图片在肤色和病理类别上保持平衡。研究者还特意控制AI在每组图片中答对10张、答错2张，也就是83.3%的准确率。
第二项招募153名基层医生，平均执业6年。他们面对的是更复杂的开放式鉴别诊断：在特应性皮炎、玫瑰糠疹、莱姆病、皮肤T细胞淋巴瘤及其他常见病之间给出前三个可能答案。研究另招募320名医学生完成同类任务，用来观察专业经验的影响。
这里必须先划一道边界：普通人与医生做的并不是同一道题。前者是二分类，后者是开放式多病种诊断，不能直接拿两组准确率宣布“医生比普通人强多少”。论文的价值在于观察同一人群得到AI帮助前后怎样改判，以及不同专业层级是否以不同方式依赖AI。
每位参与者随机看到四种辅助界面之一：只给预测和置信度；用热力图标出模型关注区域；展示相似病例；或者由GPT-4V生成自然语言解释。另一项变化是顺序：有些人先自己判断，再看AI；另一些人从一开始就看到AI建议。
这使研究不只是测模型，而是在测一次界面干预。
AI总体有帮助，错误却被解释放大
先看容易被忽略的好消息。普通参与者在没有AI时，平均准确率为69.7%；得到AI辅助后升至75.8%，提高6.1个百分点。公平约束训练也缩小了不同肤色图像之间的表现差距。
但平均数把最重要的风险藏住了。
当AI判断正确时，自然语言解释带来的改善最大：普通参与者准确率比无AI判断提高13.4个百分点。可当AI判断错误时，同一种解释也造成最大幅度的下降——21.1个百分点。相比之下，错误的基础信息使表现下降14.6个百分点，错误热力图下降15.3个百分点，相似病例下降17.0个百分点。
换句话说，LLM解释并没有单纯提升理解。它放大了普通人追随AI的倾向：正确时把人带向正确，错误时也更有力量把人带错。
这并不是因为GPT-4V亲自完成了诊断。实验中，诊断标签来自研究者训练的图像模型；GPT-4V收到这个既定标签后，任务是围绕它生成说明。标签错了，它仍会尝试找出一套可读的理由。
因此，用户看到的并非诊断模型内部因果过程的透明窗口，而可能是一段事后合理化。它回答的更像是“如果这个结论成立，可以怎样解释”，而不是“证据是否真的足以支持结论”。
为什么医生更能挡住错误
基层医生也从AI获得明显帮助。在他们那项更困难的任务中，AI使top-1准确率增加21.5个百分点。不过，对医生最有帮助的不是长篇解释，而是最简单的预测与置信度；LLM解释带来的改善反而最小。
更关键的是，当AI给错答案时，医生在四类界面下都没有出现显著的表现下降。补充的同任务比较也显示，医学生比有执业经验的基层医生更容易跟随AI，无论AI正确与否。
专业知识在这里不是一套记住的标准答案，而是一种“反驳能力”。有经验的医生知道哪些皮肤特征真正有鉴别价值，也知道一张照片缺少病史、症状和检验结果时，应该保留多大不确定性。普通用户缺少这种内部标尺，便更容易用解释是否流畅来替代证据是否充分。
研究还发现，AI出现的顺序会改变结果。如果建议先于人的独立判断出现，锚定效应更强。第一个看见的答案会占据认知起点，后续思考往往变成围绕它修补，而不是从证据重新出发。
这使“人在回路中”显得没有想象中安全。人如果只是坐在系统末端点击确认，就可能成为自动化偏见的放大器，而不是制动器。
“可解释”不等于“值得相信”
可解释AI（XAI）原本试图解决黑箱问题：系统不能只报一个结果，还应该让医生和患者理解依据。热力图、相似病例和自然语言说明，都属于这条路线。
方向本身没有错。问题在于，解释至少承担着三种不同任务：帮助用户理解模型用了什么信息；让开发者审计系统是否走偏；为用户提供采纳或拒绝建议的证据。这三件事并不自动等价。
一张热力图能显示模型关注哪里，却不能证明关注区域与疾病存在因果关系；一组相似病例能提供参照，也可能制造错误类比；一段语言解释最容易阅读，却可能只是把结论包装得更完整。
真正需要校准的不是“信任”本身，而是信任与系统可靠性的对应关系。AI对时，人应该愿意采纳；AI错时，人又必须有能力拒绝。只提高总体信任，可能同时增加收益与伤害。
NIST的生成式AI风险框架把过度依赖列为生成式AI风险之一；FDA的AI医疗器械框架也强调预期用户、透明度、可理解性和人因测试。新研究进一步说明，人因不能等产品做完后再加一张说明书，它必须进入模型与界面的联合评测。
医疗AI公司真正该测什么
对产品团队而言，最直接的变化是：AUROC或模型准确率不再足够。一套医疗AI系统至少还要报告三类结果。
第一，用户与AI组合后的最终错误率。一个模型单独看起来更准，如果它在少数错误上过度说服用户，系统层面的净收益可能下降。
第二，不同用户的结果。医生、医学生、患者和家属不应默认使用同一套解释。消费者端可能更需要明确的不确定性、反例和就医升级条件，而不是更像医生口吻的长段落。
第三，建议出现的时机。高风险任务可以先要求用户给出初步判断和信心，再展示AI；如果AI显著改变了原判断，系统触发真人复核。这样会牺牲一点速度，却保留独立思考的空间。
商业责任也会随之变化。过去，厂商可以把错误归因于“模型并未替代医生”；但当界面设计主动改变用户行为，谁能看到什么解释、什么时候看到、系统如何处理分歧，都成为安全设计与责任分配的一部分。
对中文医疗应用，真正缺的不是翻译
这项研究没有中国样本，也没有测试中文界面，21.1个百分点不能直接搬到国内问诊平台。但它提出的问题已进入中文用户的日常：拍一张皮损照片，或者在通用聊天机器人里描述症状，几秒后就能得到一个疾病名称和一段条理完整的解释。信息门槛下降了，判断解释是否可靠的门槛却没有同步下降。
本地化因此不只是把英文医学词汇翻成中文。不同地区的疾病谱、肤色分布、基层诊疗路径和就医成本都会改变用户如何采纳建议。一个城市用户看到“建议尽快就医”可能当天挂号；一个医疗资源稀缺地区的用户，则可能把AI给出的低风险解释当成延迟就诊的理由。同一句话产生的后果，取决于它进入了什么制度环境。
对中国的医疗AI团队，更值得补做的是分层人因实验：患者、家属、全科医生和专科医生是否会被同一种解释以不同方式影响；中文模型在答案错误时，是表达不确定性、主动列出反证，还是继续生成更完整的理由；系统遇到高风险症状或人机分歧时，能否真正接入线下诊疗，而不只是弹出一条免责提示。
这也决定了谁会获得优势。掌握真实临床流程、能够组织医生参与长期验证的团队，比只拥有更大模型的公司更可能建立可靠产品；而验证成本、责任风险和真人复核负担，也不会因为生成解释变得便宜而消失。
这项研究还不能证明什么
这不是临床试验。参与者在线查看图片，没有真实门诊中的年龄、病史、症状、触诊、检验和随访；每人只有12例，且图片被有意抽样以固定AI正确与错误次数。研究测量的是诊断选择和信心，不是治疗结果、转诊后果或患者伤害。
结论也不能自动外推到所有LLM。论文使用特定图像模型、GPT-4V和特定提示词，作者承认提示可能强化自信语气。更谨慎或主动寻找反证的解释模型，也许会产生不同影响。普通组与医生组任务不同，更不能用21.1个百分点推算真实医院或中文健康应用中的风险。
但它移动了一条重要边界：医疗AI安全不再只是“模型有没有犯错”，还包括“错误怎样进入人的判断”。
过去，人们担心黑箱AI不给理由。现在更棘手的情况出现了——机器可以给出理由，却未必拥有足以支撑理由的证据。解释越像人话，我们越需要追问：它是在展示推理，还是在替一个已经生成的答案辩护？
真正可靠的医疗AI，不是永远让人相信它，而是在自己可能出错时，仍为人保留怀疑、反驳和求助的能力。
资料来源
- Nature Medicine — Divergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay people — 2026-08-04 — https://doi.org/10.1038/s41591-026-04553-w
- MIT News — The benefits of medical AI assistance vary based on user expertise — 2026-08-04 — https://news.mit.edu/2026/medical-ai-assistance-benefits-vary-based-on-user-expertise-0804
- Figshare — Study data and code — 2026-08-04 — https://figshare.com/s/eaf2110da509abbe9a6a
- U.S. FDA — Artificial Intelligence in Software as a Medical Device — 持续更新，访问于2026-08-05 — https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-software-medical-device
- WHO — Ethics and governance of artificial intelligence for health: guidance on large multi-modal models — 2025-03-25 — https://www.who.int/publications/i/item/9789240084759
- NIST — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — 2024-07 — https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
- Nature Medicine — Human–computer collaboration for skin cancer recognition — 2020-06-22 — https://doi.org/10.1038/s41591-020-0942-0
- npj Digital Medicine — Do as AI say: susceptibility in deployment of clinical decision-aids — 2021-02-19 — https://doi.org/10.1038/s41746-021-00385-9
