医疗 AI 最危险的地方，可能是一段让人觉得“有道理”的解释

一段解释，为什么会改变答案

在放射科阅片室里，医生面对的并不是一道有标准答案的考试题。影像只有一部分信息，病人的描述可能不完整，时间在往前走。一个 AI 系统把诊断写在屏幕上，旁边还跟着一段听起来很完整的解释。医生需要决定：这是第二双眼睛，还是一位说话很流利、却可能把人带偏的同事？

2026 年发表在 npj Digital Medicine 的一项随机实验，把这个问题拆得很细。研究者招募了 101 名美国放射科医生，让每名医生判断 20 个来自《新英格兰医学杂志》Image Challenge 的真实病例。每个病例包含临床文字和至少一张 CT 或 MRI 图像，诊断以自由文本回答，而不是在选项中挑一个。

医生被随机分成四组：没有 LLM 支持的对照组，以及接受三种不同形式 GPT-4 建议的组。第一种是标准输出，只给一个最可能的诊断；第二种列出鉴别诊断和简短理由；第三种提供一步步的链式解释。实验不只问模型答对没有，更问医生在模型出错时有没有跟着错。

“解释”不是一个单一功能

很多产品把解释理解成一个按钮：点击后，模型把答案写得更长。可这项研究说明，文字变长不等于人获得了更好的判断能力。

三种输出的平均长度不同：标准输出约 62.7 个词，鉴别诊断约 208.6 个词，链式解释约 188.6 个词。若只看字数，鉴别诊断甚至更长；但长度本身并不能说明医生是否更能发现错误。解释真正改变的是模型信息被组织的方式，以及医生如何在自己的判断和模型建议之间来回移动。

研究者首先测了模型本身在 20 个病例上的表现。标准输出准确率为 75%；鉴别诊断的首项准确率为 65%，前五项命中率为 80%；链式解释条件下为 80%。这些结果已经告诉我们：模型不是一个稳定的权威，它在不同提示方式下也会改变表现。

医生的结果更值得注意。主分析中，获得链式解释的医生比无支持对照组高出 12.2 个百分点，95% 置信区间为 5.3 至 19.2 个百分点，P=0.001。标准输出与对照组差异为 5.0 个百分点，未达到统计显著；鉴别诊断与对照组差异为 2.5 个百分点，同样没有显著差异。

这不是“链式思考越长越好”的证据。研究测量的是在这组病例、这套 GPT-4 输出和这批医生中，不同解释格式对诊断准确率的影响。它没有证明任何模型在真实医院里能够独立诊断，也没有证明把内部推理完整展示给医生就是最安全的产品设计。

错误建议最能检验人机协作

如果模型总是正确，医生只需照着做，协作也就失去了真正的难度。临床 AI 的问题往往出现在模型错、但解释听起来很像专业推理的时刻。

这项实验把错误保留下来，包含模型诊断和解释中的错误或幻觉。研究者观察到，链式解释组的优势与医生更好地判断何时接受、何时否决模型建议有关。一步步写出的理由让医生能够检查模型用了什么线索、遗漏了什么线索，或在哪个环节把一个可能性变成了结论。

但鉴别诊断列表没有自动带来同样好处。一个列出五个疾病的模型，可能让人觉得它考虑得很全面，却没有告诉医生每个候选的证据强弱。更糟的是，列表的存在可能诱导医生过度依赖模型，特别是当正确答案排在后面、或模型把一个错误判断包装成一组看似完整的可能性时。

解释于是出现了一个反直觉的角色：它不是只用来增加信任，也用来增加怀疑。好的解释应该帮助专业人员看见模型的依据、缺口和不确定性；坏的解释则可能用流畅的语言遮住不可靠的依据。

一项实验离临床还有多远

研究有几个值得肯定的设计。病例来自真实患者材料；医生回答是自由文本；参与者随机进入四组；研究在实验前预注册假设，并由伦理委员会批准；去身份化数据和代码公开在 GitHub 上。这些做法让外部研究者能够重现分析。

它也有明确的边界。101 名医生来自美国，且每人判断 20 个病例，总计 2020 次评估；病例取自 Image Challenge，不能代表医院中全部复杂度和病人群体。研究没有在真实工作流里观察影像科医生如何与病史、同事、检查顺序、时间压力和患者沟通结合。它的主要终点是诊断准确率，不是患者死亡率、住院率、检查数量、等待时间或医疗成本。

更重要的是，实验使用的是 GPT-4 生成的建议。模型更新后，错误类型可能变化；医院接入的模型也可能经过检索、工具调用、院内数据微调或规则过滤。一个在论文里有益的解释格式，放进另一个模型、另一个专科或另一种语言后，未必还能保持同样结果。

所以，文章标题不能写成“AI 帮医生提高了多少准确率”，更不能写成“AI 解释已经安全”。准确的命题是：解释格式会显著影响人机协作的结果，而安全性取决于医生是否获得了检查模型依据、发现模型错误和拒绝模型建议的机会。

医疗 AI 产品应当把“拒绝”设计进去

临床产品的界面通常奖励快速接受。绿色的“采纳”按钮、清晰的单一结论、自动填充的报告，都让顺从比质疑更省时间。如果研究把解释当作一段文本，产品则要把它变成一个操作系统：让医生看见证据来源、病例中缺失的关键信息、模型置信度和可能的反例，也让拒绝模型变得和接受模型一样可记录、可追踪。

这会改变评估指标。除了 AUC、灵敏度和特异度，临床 AI 还需要测量医生是否能在模型错误时及时纠正，是否会因为流畅解释而增加自动化偏见，是否能在不同经验与亚专科之间保持稳定，是否对模型更新后的新错误模式有预警。模型“给出正确答案”只是第一层；人能否正确地使用它，才是第二层。

对医院来说，这意味着采购时不能只看一张排行榜。应当要求供应商提供外部验证、代表性病例、错误分析、更新日志、数据与隐私治理、责任分配和用户培训。对医生来说，AI 建议不是一条医嘱，而是一个需要被审查的证据对象。对患者来说，真正重要的也不是屏幕上出现了多少解释，而是解释是否让临床团队更好地说明不确定性、下一步检查和替代方案。

解释的价值，是让人保留最后一次判断

医学里的“人在回路中”不该意味着人只是在机器答案旁边盖章。人必须拥有足够的时间、信息和界面能力去反驳机器。否则，所谓人机协作只是一条把责任留给医生、把权力交给模型的流水线。

这项随机实验最值得留下的，不是“链式解释提高了 12.2 个百分点”这一句漂亮数字，而是它把一个常被忽视的问题放到了台面：同一个模型，换一种说法，就可能换一种临床结果。医疗 AI 的下一轮竞争因此不只在模型参数，也在解释的设计、证据的可见性和错误发生后的追责。

当一段文字让人觉得“有道理”，我们反而应该多问一句：它把哪一条证据放到了最前面？它有没有把不确定性说出来？它有没有给人留下说“不”的空间？如果答案是否定的，那么解释不是安全层，而是一层更好看的风险。

解释应该把不确定性放到屏幕中央

临床界面经常把不确定性藏起来。最可能的诊断被放在最醒目的位置，备选项被折叠，模型何时没有看懂图像、何时缺少病史，通常只在一个很小的提示符里出现。这样的界面会让医生承担“最后责任”，却不给医生足够的证据去判断模型是否值得采纳。

如果解释真要承担安全功能，它至少应包含四个层次：模型看到了什么，哪些信息缺失，它认为哪些替代诊断仍然可能，以及什么证据会让它改变意见。每个层次都应该可以被追溯到病例，而不是用一段通顺的自然语言制造心理上的完整感。解释不是为了让答案更像人，而是为了让人更容易找到答案的裂缝。

这对医疗 AI 的评估提出了新的任务。系统不仅要在静态数据集上测准确率，还要测医生面对错误建议时的纠正率、对正确建议的采纳率、判断时间、不同经验层级之间的差异，以及模型更新后错误模式是否发生变化。一个模型把医生的准确率提高几分，却让医生在少数高风险病例中更难说“不”，不能算真正的临床进步。

从“人在回路中”到“人拥有回路”

“人在回路中”常被当作免责条款：只要最后有医生签字，系统就可以上线。但签字并不等于判断。如果医生每天面对数百条自动生成的解释，界面默认填入模型结论，病历又要求在很短时间内完成，人在回路中可能只是被迫在机器的轨道上前进。

更好的设计应当让反驳留下痕迹。医生为什么否决模型？是影像证据不支持，还是病史中出现了模型没有处理的新事实？模型是否根据这些反馈更新？医院是否能从否决记录中发现某类系统性错误？这些问题让人机协作从一次性“建议”变成可学习的工作流。

患者也应当知道自己是否处在这种工作流里。透明并不要求把模型的每一层计算全部展示给患者，而是要说明工具在什么环节参与、谁负责最终决定、哪些结果仍需人工确认。医学的信任不是因为机器说得像人，而是因为人能够向患者解释机器哪里有用、哪里不可靠。

这项实验没有给出一套完整产品方案，它的价值在于把“解释”从装饰性功能变成了可测量的临床变量。下一步研究需要在真实影像科、真实病历和真实患者结局中验证：不同解释格式是否仍能帮助医生识别错误，以及这种帮助是否值得它带来的时间、隐私和认知成本。

来源与边界

核心事实来自 npj Digital Medicine 的随机实验和 Nature Medicine 对医疗 AI 证据标准的评论。本文不将在线病例实验外推为真实临床疗效，不提供诊疗建议，也不主张在临床系统中直接展示未经验证的模型推理。图片为 AI 生成示意图，非真实患者影像或医院系统截图。