← 全部文章

人工智能

230 万张病理切片之后,AI 学会的可能也是医院写报告的习惯

PRISM2 不只从图像中找模式,它还用临床报告生成的问答来学习“什么值得看”。语言让模型靠近病理问题,也把报告制度的遗漏与偏好带进了监督信号。

约 7 分钟

AI 生成示意图;不是患者切片、模型界面或诊断结果

一张切片,大到没有人能一次看完

病理医师面对的全切片图像,并不是手机里一张可以随手缩放的照片。组织被数字化后,画面可以达到十亿像素量级:局部细胞形态、组织边界、坏死、浸润和结构关系散落在一片巨大的视觉地形里。人会先低倍扫视,再放大可疑区域,把眼前形态与病史、取材位置和诊断规范拼在一起。

过去许多计算病理模型把这张巨幅图切成小块,让模型逐块学习。这样做解决了计算问题,也带来一个麻烦:疾病判断往往发生在整个病例层面,一位患者可能有多张切片,一张切片里又有成千上万块局部。谁来决定哪些局部值得聚合,局部证据怎样回到临床问题,通常还要靠特定任务的数据与额外模型。

7 月 31 日发表于《自然·医学》的 PRISM2,试图直接学习病例级的视觉表示。研究团队报告,它使用 230 万张全切片图像,以及由约 70 万份病理报告衍生的 1400 万个问答对训练。这里最关键的变化不是数字又大了一位,而是监督来源:模型不只看组织长什么样,还从病理报告学习临床人员通常会问什么、怎样描述发现、哪些结论被写进正式文本。

论文称,在前列腺、乳腺与乳腺淋巴结癌症检测的对应产品测试数据上,PRISM2 无需为这些任务额外训练的问答推断,达到或超过所比较临床级专用产品的平衡准确率。这个结果令人重视,也极容易被标题推过边界。

PRISM2 不是一个已经获批的通用病理医生。它更像一次规模很大的证明:语言可以成为整张病理切片的训练信号。但语言从来不只是中立标签,它也携带医院如何工作、如何记录、如何省略的制度痕迹。

报告不是切片的字幕

一份病理报告写下的是经过选择的结论。它会记录对诊疗有意义的发现,遵循特定模板和术语,也受取材、临床问题、医师习惯与机构流程影响。没有写进报告的东西,可能确实不存在,也可能被认为不重要、已由上下文暗示,或者只是没有被记录。

PRISM2 的训练流程把报告改写为诊断摘要,再生成开放问题、是非问题和选择题。论文说明,这些处理步骤使用 GPT-4o;为了增加“否”的样本,流程还会把报告中未提及的一些发现视为标本中的阴性。这是一种实用的数据构造办法,也暴露了最需要审查的假设:没写到,是否真的等于没有?

研究团队并未把这一过程藏在“多模态”三个字后面。相反,公开方法让我们看见模型到底在学习什么。它学习形态与语言之间的统计联系,也学习报告规范怎样把丰富视觉压缩成有限文本。语言能帮助模型把整张切片聚合到临床相关问题上;同时,报告里的偏好、漏记和机构差异,也可能成为模型眼中的世界结构。

这正是 PRISM2 比“又一个图像模型”更有意思的地方。监督信号不再只是病名,而是一套临床对话。模型能力因此更接近病理工作中的提问方式,偏差也更接近病理工作的记录方式。

“临床级”比较究竟说了什么

论文最醒目的表述,是模型在若干癌症检测任务上与临床级专用产品比较。理解这个结论,需要把至少四层意思分开。

第一,比较发生在对应产品测试数据集上,任务是特定组织和特定癌症检测。它支持的是这些评测条件下的性能比较,不是所有癌种、所有医院、所有扫描仪和所有病例的通用结论。

第二,论文称这种方式为 prompt-based inference,而不是 zero-shot。原因很重要:相关适应证在训练材料中出现过。模型没有为当前测试再训练专用分类器,不等于它从未见过前列腺癌或乳腺癌概念。把它写成“零样本发现陌生癌症”,会比研究证据更强。

第三,被比较的产品拥有各自阈值、适用范围和监管状态。论文在相应测试集上比较平衡准确率,也提供了阈值无关分析;但 PRISM2 达到类似数字,并不会自动继承对方的审批、质量体系、部署监控或临床责任。

第四,算法指标不是患者价值本身。《自然·医学》此前的社论强调,判别、校准、敏感度和特异度能够说明计算性能,却不能独自证明改善照护。输出若出现得太晚、难以解释、没有被正确行动,或扰乱工作流,高分也可能不产生临床收益。

因此,“临床级性能”最好被读成一个研究比较的限定语,而不是产品身份证。它说明通用表征在一些严格任务上开始接近成熟专用系统,下一步需要的反而是更具体的验证。

一个模型,其实有两种“记忆”

PRISM2 设计了两类表征。基础表征更轻,目标是迁移到诊断之外的任务;诊断表征来自一个 40 亿参数语言模型的隐藏状态,针对癌症检测和分型等临床问题。这个双重结构承认了一件常被忽略的事:最适合回答“这是什么”的表示,不一定最适合回答生物标志物或生存风险问题。

这也避免把所谓基础模型想成一把永远通用的万能钥匙。模型之所以能迁移,是因为表征保留了某些信息;表征也必然丢掉另一些信息。基础表征和诊断表征的分工,提醒使用者先说清楚任务,再决定调用哪一层能力。

论文还展示了报告补全、问答、线性探针和任务微调等不同使用方式。每一种方式改变的,不只是性能,也改变验证责任。直接问答看似最方便,却依赖问题措辞、概率阈值和训练中见过的概念;在线性探针上训练新的分类器,需要新的标签和外部验证;为生存预测微调,则把病例选择、随访和治疗差异带进模型。

医院采购“一个基础模型”时,真正部署的从来不是一个抽象模型,而是一条具体任务链:什么输入,什么版本,什么提示,什么阈值,输出给谁看,谁能拒绝,错误怎样回报。把这些部分省略,通用性就会成为责任的空白地带。

开放权重,不等于完整复现

研究公开了 PRISM2 权重、预生成嵌入、数据表和部分评估代码,为学术复核提供了实质入口。论文也明确说明,完整训练和推断管线由于专有库、分布式计算基础设施与商业知识产权等依赖,无法全部发布。

这不是一句可以用“开放”或“封闭”简单裁决的事实。公开权重让其他研究者有机会测试迁移和失败模式;缺少完整管线,则意味着外界未必能从原始数据重新得到相同模型。训练数据又包含临床报告和切片,隐私与机构协议本来就限制完全公开。

更现实的复现问题因此变成三层:模型本身能否重新运行;论文评测能否独立重做;模型在另一家医院能否保持性能。第一层靠代码和权重,第二层靠数据、阈值与统计协议,第三层还需要当地扫描、染色、病例构成和工作流验证。任何一层成功,都不能替代下一层。

商业团队参与同样需要被放在可见位置。部分作者来自 Paige 和微软研究机构,论文比较了 Paige 的临床产品。利益关系不让结果自动失效,却提高了独立重复和透明比较的必要性。最有说服力的后续证据,将来自与模型开发、产品销售和原始数据来源相对独立的机构。

报告语言会把谁留在画面之外

大规模临床数据常被赞美为“真实世界”。但真实并不等于完整。罕见病、非典型表现、资源不足医院的取材质量,以及不符合主流模板的描述,都可能在数据中出现得更少。模型从报告语言学习临床相关性时,也可能把“少被写下”误当成“少有意义”。

跨机构验证不能只报告平均性能。它应查看不同组织、疾病亚型、扫描设备、样本质量和人群下的误差;还要分析模型在何种情况下拒绝回答,病理医师何时采纳或推翻,以及它是否改变补充检查和病例分流。对罕见病例,少数严重漏诊可能被总体数字淹没。

报告本身也会因模型进入工作流而改变。如果系统预填结构化字段,医师可能更快完成记录,也可能逐渐沿用模型偏好的表述。未来用这些报告再训练下一代模型,就形成反馈回路:模型学习历史语言,又参与生产新的语言。没有版本与来源标记,医院会很难知道某条“临床经验”最初来自人还是上一代模型。

因此,PRISM2 真正提出的治理问题,不只是怎样验证一台模型,而是怎样管理一个不断把图像、报告和模型输出重新混合的数据循环。

病理医师需要的不是会聊天的切片

论文特意说明,训练中的临床对话不是为了把 PRISM2 直接部署成聊天机器人,而是把问答当作丰富监督信号。这句话很重要。病理工作的核心,不是切片能否用自然语言回复,而是每一个结论能否回到可查看的形态、病例语境和责任人。

最有用的系统也许不是替医师写出一段自信的答案,而是把疑点排序、预填可复核字段、提示需要进一步确认的区域,并在不确定时清楚停下。它要让医师更容易看见证据,而不是更难拒绝机器。

230 万张切片和 1400 万个问答对证明,规模与语言可以把整张切片表征推到新的水平。它们也提醒我们:模型学到的不只是癌细胞的样子,还有医院认为哪些发现值得写进报告。

在病理台前,真正的进步不会是让 AI 的语言越来越像医生,而是让医生始终能分辨:这句话来自哪一片组织、哪一种训练习惯,以及谁最终愿意为它负责。

来源与边界

  • 训练规模、模型结构、评测和开放范围来自 PRISM2 原始研究。
  • 临床价值与算法指标的区别参考 Nature Medicine 医疗 AI 证据社论。
  • 本文不把论文中的产品数据集比较写成 FDA 批准、通用临床效用、替代病理医师或患者结局改善;不提供任何可执行生物实验或诊断建议。

SOURCES / 参考来源

同一方向

更多 →