从常规H&E病理切片预测HRD，已经不是病理AI领域的新课题。但近期发表于Nature Communications的一项研究，却在这一相对成熟的方向上，展示了一种值得关注的MIL建模思路：如果模型不只是寻找最重要的Patch，而是进一步理解这些Patch周围的组织结构，能否得到更好的预测结果？研究团队开发了HRDPath，将DSMIL与Transformer相结合，同时学习关键局部区域、邻近组织的空间关系和整张切片的全局信息，并进一步整合同一患者的多张病理切片。有意思的是，消融实验发现，简单融合DSMIL与ViT反而降低了模型性能，而加入局部窗口及空间位置编码后，AUC提高至0.846，优于多种常见MIL方法。这也提示，多模型融合的价值，可能不在于增加模型数量，而在于如何更有效地组织和利用病理信息。除了预测性能，作者还利用细胞形态定量和组织表型聚类，对模型关注的区域进行深入分析，揭示HRD相关的细胞核形态、肿瘤微环境及组织结构差异。虽然HRDPath距离临床应用仍有一定距离，但这项研究提供了一个值得借鉴的案例：如何让MIL从黑箱预测，进一步走向空间组织结构学习与可解释的病理表型发现。一、HRD预测不是新问题，为什么还需要改进MIL？同源重组修复缺陷（Homologous Recombination Deficiency，HRD）是高级别浆液性卵巢癌的重要生物标志物，与铂类化疗及PARP抑制剂的治疗敏感性密切相关。目前，临床HRD检测主要依赖BRCA1/2等基因变异及基因组不稳定性指标，检测成本、周期和技术条件限制了其在部分临床场景中的应用。因此，利用常规H&E切片预测HRD，一直是病理AI的重要研究方向。然而，既往研究仍存在一些不足。例如，部分方法需要预先分割肿瘤区域，部分方法主要依赖少数高评分Patch进行预测，而常规MIL虽然能够自动识别重要图像区域，却未必充分利用这些区域之间的空间组织关系。近期，英国伦敦国王学院、美国华盛顿大学等机构的研究团队在Nature Communications发表了题为HRDPath: an explainable multi-model deep learning architecture for predicting homologous recombination deficiency from histopathology images的研究，尝试通过改进MIL架构解决上述问题。研究采用三个队列，其中主要开发队列UWOV包含152名患者、720张病理切片，涵盖卵巢或输卵管原发灶以及网膜等转移部位；另外使用TCGA-OV的81名患者和PTRC-HGSOC的93名患者开展跨队列验证。与传统的单切片MIL不同，HRDPath的核心设计包括三个部分：多分支特征学习、患者级多切片融合，以及HRD状态与连续评分的多任务预测。 二、HRDPath如何融合局部与全局病理特征？传统Attention-MIL通常将全切片划分为大量Patch，再通过注意力机制识别重要区域，并将其聚合为切片级表征。但找到重要Patch，并不意味着模型充分理解了该区域的组织结构。例如，某些肿瘤细胞核形态可能与HRD相关，而这些细胞周围的组织排列、细胞密度及间质结构，也可能包含额外的预测信息。HRDPath针对这一问题，设计了三个相互补充的特征学习分支。1. DSMIL：识别重要的局部区域首先，作者通过RetCCL提取WSI的Patch级深度特征，再将其输入DSMIL（Dual-Stream Multiple Instance Learning）模块。DSMIL通过识别具有判别价值的关键实例，以及学习这些实例与其他Patch之间的关系，形成切片级特征表征。同时，DSMIL识别的重要区域还用于引导后续的局部空间分析。2. Global ViT：学习全局组织信息第二个分支采用Vision Transformer（ViT），通过自注意力机制整合整张切片的Patch特征，学习不同区域之间的关联。相比DSMIL强调关键实例，这一分支更侧重全局组织信息，从而为HRD预测提供互补的切片表征。3. Local ViT：进一步理解重要区域的空间结构第三个分支是HRDPath较有特色的设计。作者以DSMIL识别出的重要区域为中心，构建固定大小的局部窗口，再将其中的Patch特征输入Local ViT，并加入位置编码，使模型能够学习相邻Patch之间的空间关系。也就是说，DSMIL首先回答“哪里值得关注”，Local ViT则进一步分析“这些重要区域及其周围的组织如何排列”。三个分支输出的特征最终经过拼接，形成综合性的切片级表征。严格来说，HRDPath并非H&E与分子组学等不同数据模态的融合，而是同一H&E模态下，局部、全局及空间组织信息的多视角特征融合。值得注意的是，作者后续还提取了细胞核形态、细胞组成等传统定量病理组学特征，但这些特征主要用于模型的可解释性分析，并没有直接作为HRDPath的独立输入分支。 三、模型融合不一定提高性能，空间信息才是关键在UWOV的29名留出测试患者中，HRDPath取得0.846的AUC、0.692的敏感性和0.938的特异性，优于CLAM、DSMIL、ZoomMIL、DeepHRD等比较方法。其中，CLAM-SB的AUC为0.750，DSMIL和ZoomMIL均为0.808，DeepHRD为0.827。采用UNI基础模型特征的比较方案AUC则为0.731。这提示，对于特定的下游预测任务，设计合适的特征聚合架构，可能与选择更先进的病理基础模型同样重要。但更值得关注的是作者的消融实验。单独使用DSMIL时，AUC为0.808；将DSMIL与Global ViT直接融合后，AUC反而下降至0.745。随后，加入局部窗口建模，AUC提高至0.769；进一步加入绝对位置编码，最终达到0.846。这一结果说明，不同模型的简单组合，并不必然产生互补效应。真正重要的是，这些模型能否引入原有方法未充分利用的信息。在HRDPath中，DSMIL已经能够识别具有判别价值的Patch，而Local ViT进一步引入相邻组织的空间关系，位置编码则帮助模型保留局部组织结构信息。当然，最终性能是整个架构及训练策略共同作用的结果。但这一消融实验仍然提示，对于涉及复杂组织形态的分子预测任务，局部空间结构可能是传统MIL值得进一步挖掘的信息来源。 四、从单张WSI到患者级预测：多切片融合有什么价值？HRDPath的另一项设计，是将MIL从单张切片预测扩展为患者级预测。在实际临床中，一名卵巢癌患者往往具有来自不同组织块，甚至不同解剖部位的多张病理切片。由于肿瘤存在空间异质性，单张WSI可能无法完整反映患者的组织学特征。因此，HRDPath首先分别提取不同切片的表征，再通过患者级Transformer进行融合，输出最终的患者级预测结果。作者同时引入多任务学习，联合预测HRD阳性或阴性状态以及连续HRD评分。相比单纯二分类，连续评分能够保留更多分子异常程度的信息。在实验中，单任务HRDPath的AUC为0.760，加入连续评分回归任务后提高至0.846。不过，这一改善主要体现在AUC和特异性上，敏感性有所下降。此外，随着输入切片数量增加，HRDPath的患者级预测表现总体更加稳定。当纳入三张及以上切片时，预测准确率和切片间一致性趋于改善；在拥有六张及以上切片的分组分析中，准确率超过95%，敏感性达到0.910，特异性达到1.000。 需要说明的是，这些较高的分层指标来自包含不同切片组合的分析，并非独立外部测试结果，且部分分组患者数量较少。作者还提出利用不同切片之间的预测一致性，辅助评价结果的可靠性。例如，当至少70%的切片预测一致时，可认为该患者的预测具有相对较高的一致性。这种设计的意义在于，多张WSI不仅可以提供更多组织信息，也能够为模型预测提供一种额外的可靠性参考。在跨队列验证方面，HRDPath通过少样本微调，在TCGA-OV和PTRC-HGSOC队列取得最高0.823的AUC，并展示了一定的跨解剖部位泛化能力。但由于外部验证采用了少样本适配，且PTRC队列仅有5名HRD阴性患者，其泛化表现仍需要更大规模的独立验证。五、预测之外，HRDPath发现了哪些病理学特征？如果说多分支架构解决的是如何提高预测性能，那么论文后半部分的可解释性研究，则尝试回答另一个问题：模型究竟识别了哪些与HRD相关的病理表型？1. HRD阳性肿瘤具有怎样的细胞形态？作者首先比较了HRDPath注意力热图与肿瘤细胞分布，发现模型关注区域与肿瘤细胞比例总体呈正相关。这表明即使没有提供明确的肿瘤区域标注，模型仍然能够在一定程度上关注富含肿瘤细胞的区域。随后，研究使用HoVer-NeXt进行细胞核识别和分类，在高注意力区域中量化肿瘤细胞、炎症细胞及间质细胞的组成，以及细胞核圆度、伸长程度、面积和局部细胞密度等特征。结果发现，与HRD阴性肿瘤相比，HRD阳性肿瘤整体上具有更高的细胞核圆度、更低的核伸长程度以及更高的局部肿瘤细胞密度。进一步分析发现，不同分子异常对应的形态表型也不完全相同。例如，BRCA1/2突变和BRCA1甲基化相关的HRD阳性肿瘤，在部分核形态及细胞组成特征上表现出差异。不过，这些差异的效应量相对较小，两组患者的形态特征存在明显重叠。更值得关注的是，当作者仅利用这些传统细胞形态与组成特征建立预测模型时，最佳交叉验证AUC只有0.593，连续HRD评分的预测表现也不理想。这说明，虽然某些细胞形态与HRD具有统计学关联，但单独使用几个传统指标，仍然难以实现准确预测。深度MIL所捕捉的，可能不只是某一种核形态变化，而是多种细胞特征与组织空间结构共同构成的复杂病理表型。2. 从注意力热图进一步发现组织表型为了更系统地解释模型预测，作者进一步对HRDPath的高注意力区域开展组织表型分析。研究首先使用DBSCAN，根据高注意力Patch的空间分布识别具有连续性的区域，再结合RetCCL特征，通过K-means聚类得到八类组织表型，称为VAttentionClusters。这些表型不仅包含不同形态的肿瘤细胞富集区域，也包括间质及纤维化相关区域、脂肪组织和梗死样组织区域。进一步分析发现，不同组织表型与HRD状态及其分子异常亚组存在不同程度的关联。 例如，VAttentionCluster 1在HRD阴性肿瘤中更为富集，而VAttentionCluster 3则在HRD阳性肿瘤中更为富集。此外，不同解剖部位之间的组织表型分布也存在差异，部分表型能够在同一患者的原发灶与转移灶中共同出现。这一分析将模型的高注意力区域进一步转化为可以观察和描述的组织形态类别。与仅展示注意力热图相比，这种方法有助于研究者理解模型关注的究竟是什么类型的组织，以及这些组织表型与疾病分子特征之间存在怎样的关联。不过，这些数据驱动的聚类尚不能等同于经过充分验证的病理学分型，其生物学意义与跨队列稳定性还需要进一步研究。3. AI与分子检测不一致的病例，是否具有特殊意义？作者还开展了探索性的生存分析。在UWOV与TCGA-OV联合队列中，AI预测为HRD阳性、但基因组检测为HRD阴性的患者，其总体生存表现差于两种方法均判断为HRD阳性的患者，经多重比较校正后仍具有统计学意义。在另一项探索性分析中，AI预测为HRD阴性、但基因组检测为HRD阳性的患者，也表现出较差的生存结局。这些结果提出了一种可能性：H&E图像中的某些形态学信号，或许能够反映现有基因组HRD检测未完全覆盖的肿瘤生物学特征。但需要注意，在单独的UWOV队列中，模型预测与总体生存并没有显著关联，且研究患者的治疗方案存在差异。因此，这些发现仍属于探索性结果，不能据此认为AI能够替代HRD分子检测，或更准确地预测PARP抑制剂疗效。 六、从HRDPath看MIL方法的发展方向HRDPath并不是第一个利用H&E预测HRD的模型，其真正值得关注的地方，是提供了一种从传统MIL向更复杂组织表征学习发展的思路。首先，传统MIL主要识别与预测相关的关键Patch，而HRDPath进一步分析这些Patch周围的空间组织结构。消融实验也提示，相比简单叠加不同模型，引入具有互补意义的空间信息可能更加重要。其次，研究将MIL扩展至患者级，通过整合多张切片的信息，缓解单张WSI带来的取样局限，并探索利用切片间预测一致性评价结果的可靠性。第三，HRDPath展示了深度学习预测与传统定量病理组学之间的另一种结合方式：不一定将细胞形态等人工设计特征直接加入训练，而是利用它们解释深度模型发现的组织学表型。这种预测与解释相结合的研究路线，可能为后续的病理表型发现提供更多机会。当然，HRDPath距离临床转化仍有一定距离。主要测试集患者数量有限，外部队列验证涉及少样本微调，不同数据集采用的HRD参考标准也不完全一致。此外，论文尚未验证模型能否独立预测PARP抑制剂治疗获益，研究代码也尚未公开。对于HRD这样与治疗决策密切相关的生物标志物，未来更重要的问题可能不只是让AI更准确地复现分子检测结果，而是证明H&E图像能够提供分子检测之外的增量信息，并进一步改善治疗获益人群的识别。总体而言，HRDPath为我们提供了一个值得借鉴的案例：通过多分支特征学习和患者级信息融合改善MIL预测，再借助细胞定量与组织表型聚类，将深度学习发现转化为可以被病理学理解和研究的形态学信号。这或许也是未来病理AI值得进一步发展的方向——不仅让模型知道哪些区域重要，还要尽可能理解这些组织结构为什么重要，以及它们反映了怎样的疾病生物学特征。  本文章转载自微信公众号：AI病理视界

空间转录组技术正在向单细胞甚至亚细胞分辨率快速发展。研究人员不仅能够知道某个基因在组织的什么位置表达，还希望进一步确定它属于哪个细胞，以及这些细胞之间存在怎样的相互作用。但一个容易被忽略的问题是：我们得到的单细胞基因表达数据，真的能够准确对应到每一个细胞吗？近日来自阿卜杜拉国王科技大学（KAUST）等机构的研究人员在 Nature Methods 发表了一项大规模基准评估研究。作者比较了5种空间转录组技术、15个数据集上的11种细胞分割算法，发现现有方法的表现高度依赖组织类型、技术平台和评价标准。更值得关注的是，细胞分割结果的差异不仅影响识别出多少细胞，还可能改变细胞类型特异性基因的表达、细胞间转录本污染程度，乃至最终的细胞通讯分析结果。这项研究提醒我们，空间转录组的分辨率不断提高，并不意味着单细胞层面的分析结果就必然更加可靠。作为整个分析流程基础的细胞分割，仍然是空间组学研究中一个尚未充分解决的技术缺口。 一、单细胞空间转录组，首先要解决的是“哪些RNA属于哪个细胞”对于传统病理AI而言，细胞分割主要用于识别细胞位置、形态和类型。但对于单细胞空间转录组，细胞分割还承担着一项更重要的任务：建立细胞与基因表达之间的对应关系。以Xenium、CosMx和MERFISH等成像型空间转录组技术为例，实验可以检测组织中大量RNA分子的空间位置，记录每个分子的基因身份及坐标。然而，知道某个RNA分子位于哪里，并不代表我们已经知道它属于哪个细胞。为了得到常规的单细胞基因表达矩阵，研究人员需要先确定每个细胞的空间边界，再将对应区域内的RNA分子分配给该细胞。这一步通常被称为细胞分割及转录本归属（Transcript-to-cell assignment）。问题恰恰出现在这里。与细胞核相比，完整细胞的边界往往更难准确识别。尤其是在细胞密集的肿瘤组织、形态不规则的间质细胞以及具有复杂突起的神经组织中，相邻细胞之间可能缺乏清晰的视觉边界。因此，现有空间转录组平台往往需要使用细胞核染色、细胞膜或细胞质染色，以及计算方法来推断完整细胞的边界。例如，Xenium的一类常用流程是先利用DAPI图像检测细胞核，再通过一定距离的向外扩张估计完整细胞范围。较新的流程也可以结合细胞膜和细胞质染色进行多模态分割。CosMx则引入了专门训练的深度学习模型进行细胞核与完整细胞的分割。这些方法已经能够支持大规模自动分析，但本质上仍然是在根据有限的图像信息推断细胞边界。一旦边界发生偏差，原本属于细胞A的RNA分子就可能被错误地分配给相邻的细胞B。这种错误会直接进入后续的单细胞表达矩阵，并进一步影响细胞类型鉴定和空间分析。当然，并不是所有空间转录组分析都必须进行细胞分割。对于Visium等基于spot的空间组学技术，研究人员可以直接在spot层面分析基因表达。但当研究目标转向真正的单细胞表达谱时，如何准确完成细胞归属，就成为一个无法回避的问题。 二、11种算法、5种平台：细胞分割究竟做得怎么样？为了系统回答这一问题，研究人员设计了一套覆盖不同技术平台、组织类型和分割方法的基准评估框架。研究纳入Stereo-seq、Xenium、CosMx、STARmap PLUS和MERFISH五种空间转录组技术，包含15个公开数据集、12种组织类型，涉及人和小鼠共约230万个细胞。比较的11种算法覆盖了几类不同的技术路线。第一类是图像驱动的方法，包括Cellpose、SAM、SAM2、mSAM以及传统Watershed等，主要根据染色图像中的形态和强度信息推断细胞边界。第二类是转录本驱动的方法，例如Baysor，可以根据RNA分子的空间位置和表达组成推断细胞归属，而不必完全依赖细胞图像。第三类则尝试整合形态与分子信息，例如BIDCell和SCS，通过结合组织图像、细胞核位置及转录本分布，实现更具有生物学约束的细胞分割。作者采用统一的Nextflow分析流程，对不同数据进行标准化处理，并利用CellSPA框架从细胞覆盖率、转录本捕获、基因表达一致性、细胞形态、表达纯度和空间结构等多个角度评价模型表现。这里有一个非常重要的方法学变化。作者不再仅仅关心细胞边界分得是否准确，而是进一步追问：这些分割结果能否保留可信的单细胞分子信息？因为对空间转录组而言，一个看上去形态合理的细胞分割结果，并不一定能够准确分配RNA分子。 三、没有一种算法能够在所有场景下保持最佳性能研究结果首先揭示了一个现实：现有细胞分割方法之间存在明显的性能差异，而且算法排名会随着数据集及评价指标的变化而变化。按照作者设计的综合评分，SAM以0.58位居第一，随后是SAM2（0.53）、BIDCell（0.52）和SCS（0.48）。Cellpose的综合评分为0.42，传统Watershed为0.27。但这些数值并不是我们熟悉的Dice或者IoU，而是将多项评价指标归一化之后得到的综合得分，因此不能直接理解为细胞分割的百分比准确率。更重要的是，SAM虽然在单细胞转录本数量和基因数量等指标上表现突出，却存在细胞覆盖不足的问题。也就是说，它能够为部分细胞获得质量较高的表达信息，但并不一定能充分保留组织中的全部细胞。这种差异会对空间组学研究产生明显影响。如果研究目标是获得高置信度的单细胞表达谱，相对保守的分割结果可能具有优势；但如果希望全面分析组织中的细胞组成、稀有细胞群体或细胞间相互作用，那么遗漏大量细胞同样可能带来严重偏差。因此，作者进一步引入了考虑细胞覆盖率的校正评分。在这一评价下，SCS获得了最高的0.34分，BIDCell和Baysor均为0.33分，显示出更好的综合平衡。将不同指标归纳到八个类别后，结果仍然表明各算法具有不同的优势。SAM和SAM2在部分转录组质量指标上较好，BIDCell表现相对均衡，而SCS在空间异质性和部分形态相关指标上具有优势。这项研究并不能证明哪一种方法在所有情况下都最准确，却清楚表明：对于空间转录组细胞分割，目前仍然不存在一个可以直接应用于所有组织和技术平台的通用最优方案。研究还发现，细胞覆盖率、转录本数量与表达纯度之间，并不存在简单的一致关系，分割出更多细胞，不代表获得更可靠的表达谱。一个算法可能识别出更多细胞，却将部分相邻细胞的RNA错误地混合在一起；另一个算法可能得到更纯净的单细胞表达谱，却丢失大量原本应该被识别的细胞。在不同评价指标之间的相关性分析中，作者特别发现，表达纯度（Expression purity）与不少其他指标的相关性较弱。 这意味着，仅仅通过细胞数量、转录本捕获率，甚至部分形态指标，都不能充分判断细胞分割是否保留了真实的生物学信息。对于后续需要进行细胞分型、差异表达或细胞通讯分析的研究而言，这种差异尤其值得警惕。 四、最值得警惕的不是细胞边界不准确，而是生物学结论可能被改变如果说不同算法的性能差异还属于技术层面，那么这篇研究真正值得关注的，是作者进一步展示了这些差异如何传递到下游生物学分析。研究人员选择了Stereo-seq、STARmap PLUS和MERFISH三个平台的小鼠脑组织数据，比较不同分割方法获得的细胞类型特异性基因表达、异常表达信号以及细胞间通讯结果。1. 不属于某类细胞的基因，为什么会出现在它的表达谱中？作者首先检查了一些具有明确细胞类型特异性的标记基因。例如，Igfbp5被用于代表星形胶质细胞相关的表达特征，而Flt1则是血管内皮细胞相关的标记基因。按照正常的生物学预期，这些基因应该主要出现在相应的细胞类型中。但研究人员发现，在不同技术平台和分割算法下，这些基因可能被分配到不符合预期的细胞群体中。在部分实验条件下，约10%—15%的细胞出现了不符合其细胞类型预期的负标记基因表达信号。需要说明的是，这一比例并不等同于人工验证的细胞分割错误率，而是作者用于评估相邻细胞转录本污染的一项指标。但是，这种现象具有明确的方法学警示意义。假设一部分原本属于星形胶质细胞的RNA被错误分配给邻近的内皮细胞，那么在最终生成的单细胞表达矩阵中，这些内皮细胞就可能表现出异常的基因表达特征。如果研究人员没有意识到这种误差，便可能将其解释为一种特殊的细胞状态、细胞异质性，或者某种疾病相关的分子改变。实际上，这种看似新的生物学现象，可能至少部分源自上游的细胞分割和转录本归属误差。2. 细胞类型特征会随着分割算法变化作者进一步比较了不同平台和算法对细胞特异性表达特征的保留程度。研究发现，不同算法对于星形胶质细胞、血管内皮细胞和小胶质细胞相关基因表达特征的恢复能力并不一致。例如，在部分分析中，BIDCell和mSAM能够较好地保留预期的表达特征，而Cellpose获得的部分细胞类型特异性表达信号有所减弱。与此同时，STARmap PLUS、Stereo-seq与MERFISH之间也存在差异。某些平台更有利于恢复特定细胞类型的标记信号，另一些平台则出现较明显的非特异性表达或背景污染。这些结果说明，最终得到的单细胞表达谱不仅受到实验技术的影响，也与后续计算分析中如何定义细胞边界密切相关。当然，不同平台之间还存在检测化学、基因panel、背景信号及样本差异，不能将所有观察到的变化都简单归因于分割算法。3. 连细胞间通讯分析也可能受到影响文章进一步分析了Pdgfc–Pdgfra、Prok2–Prokr2和Vip–Vipr2等具有明确生物学意义的配体–受体关系。结果发现，不同技术平台和细胞分割算法组合得到的细胞通讯信号，在显著性和所涉及的细胞群体方面均可能存在差异。其中，部分平台能够将配体–受体表达较为准确地定位到预期的细胞群体，而另一些平台则可能将这些信号分配到其他细胞类型。这对于空间转录组研究的意义不容忽视。近年来，利用空间组学研究肿瘤微环境中的细胞互作、免疫调控及细胞通讯通路，已经成为非常活跃的方向。但如果细胞的基因表达归属本身存在误差，那么基于这些表达矩阵进一步推断出的通讯关系，也可能存在不确定性。换句话说，空间转录组分析中看似精细的细胞通讯网络，可能建立在并不完全可靠的细胞边界和表达归属之上。这并不意味着现有细胞通讯分析不可信，而是提醒研究人员，不能忽略这些结果对上游细胞分割策略的依赖。 五、为什么细胞分割仍然是空间组学的技术短板？从这篇研究来看，问题并不只是现有深度学习模型的分割精度还不够高，而是空间转录组细胞分割具有几个难以回避的特点。首先，完整细胞边界并不总能从图像中直接观察到。细胞核通常较为清晰，但细胞质和细胞膜的形态可能复杂得多。在缺少充分染色信息的情况下，算法不可避免地需要对细胞范围作出推断。其次，不同组织对算法的要求差异很大。较规则的上皮细胞、密集的淋巴细胞、具有突起的神经细胞，其形态特征并不相同。即使一种算法在某类组织中表现优秀，也未必能够直接迁移到其他组织。此外，空间转录组本身也存在转录本检测噪声、背景信号和表达稀疏等问题。即使引入RNA空间分布辅助细胞分割，也不能保证所有分子都能获得正确的细胞归属。研究还揭示了一个容易被忽略的问题：目前对于细胞分割的评价仍然缺乏统一标准。传统的Dice、IoU等指标可以衡量边界与人工标注之间的一致程度，但未必能够充分反映基因表达归属的准确性及其下游影响。这也是本文引入多维度生物学评价指标的重要意义。不过，这项研究本身也有一定局限。作者并未针对全部数据建立严格的人工完整细胞边界真值，也没有穷尽不同模型的微调方案和参数组合。因此，研究主要展示的是不同分割策略对空间组学分析结果的影响，而不能将综合评分直接等同于真实的像素级分割精度。尽管如此，研究已经充分说明，细胞分割并非一个已经被成熟算法彻底解决的预处理任务，而是可能持续影响整个空间组学分析流程的重要误差来源。 六、延伸思考：当H&E开始预测空间转录组，单细胞标签真的可靠吗？这项研究还让我们想到近年来另一个热门方向：利用H&E图像直接预测空间转录组基因表达。随着病理基础模型和多模态学习的发展，相关研究正在从传统的spot级表达预测，逐渐走向更精细的单细胞级预测。但相比spot级预测，单细胞层面的建模可能面临一个更基础的问题：训练标签本身是否足够可靠？在利用配对H&E和单细胞空间转录组训练模型时，至少可能存在三个误差来源。首先，空间转录组的单细胞表达标签依赖细胞分割及转录本归属，而本文已经表明，这一过程存在不可忽略的不确定性。其次，H&E图像中通常需要另外进行细胞核检测和分割，同样可能发生漏检、粘连分割或边界偏移。最后，还需要在H&E与空间转录组之间建立准确的空间对应关系。如果涉及不同染色流程或相邻切片，这种细胞级配准本身就具有相当大的挑战。这些误差未必会简单相加，但可能共同造成一个问题：模型获得的所谓“某个细胞的真实基因表达”，实际上并不完全对应H&E图像中的那个细胞。因此，我认为现阶段单细胞级H&E空间转录组预测，需要更加重视标签质量和跨模态配准的可靠性，而不能只关注模型的预测相关系数。相比之下，spot级或者局部组织区域级的预测，在某些情况下反而可能更加稳健。 因为这类任务不需要建立严格的一对一细胞匹配关系，区域内的聚合表达也可能降低部分随机细胞归属误差的影响。当然，这并不意味着spot级预测一定更加准确。它同样面临细胞混合、空间异质性被平均化以及稀有细胞信号被稀释等问题。单细胞级预测具有明确的生物学价值，也已经出现了具有潜力的方法。真正值得进一步研究的，是不同空间分辨率下，标签的不确定性究竟有多大，以及这些不确定性会如何影响模型训练和最终的生物学解释。 七、从追求更高分辨率，到追求更可信的单细胞结果回到这篇Nature Methods研究，它并没有提出一个全面超越现有方法的新细胞分割模型，而是通过系统性评估指出了空间组学分析中一个长期存在、却容易被低估的问题。随着空间转录组技术的发展，我们能够检测的基因越来越多，空间分辨率越来越高，生成的单细胞图谱也越来越精细。但从RNA分子的空间定位，到将其归属于某个细胞，再到推断细胞类型和细胞间相互作用，中间仍然存在一系列依赖计算方法的推断步骤。这些步骤并不会因为实验分辨率提高而自动变得准确。这项研究还提示了几个值得关注的后续方向。一方面，细胞分割算法有必要进一步结合组织形态、细胞核及细胞膜信息、RNA空间分布以及转录组特征，而不是仅依赖单一的图像分割模型。另一方面，对于空间组学研究，也有必要在下游分析中评估结果对不同分割策略的敏感性，并进一步建立能够反映细胞分割不确定性的质量控制体系。特别是对于细胞亚群发现、稀有细胞鉴定以及细胞通讯等高度依赖单细胞归属的研究，分割结果的可靠性应当成为生物学结论验证的一部分。空间转录组技术的进步，不应该只体现在我们能够观察到多么精细的空间信息，更应该体现在这些信息究竟有多么可信。而细胞分割，可能正是从更高分辨率走向更可靠空间生物学发现过程中，仍然需要重点突破的基础环节。 本文章转载自微信公众号：AI病理视界

最近在整理一些平时关注、但一直没来得及单篇详细解读的病理AI研究，其中正好有好几篇都和病理组学有关。放在一起看还挺有意思：在病理基础模型、多模态模型越来越热的今天，“组织分割—特征量化—预后建模”这条看起来有些传统的路线，不但没有消失，反而还在不断变化。有的研究重新定义一个很经典的淋巴细胞-间质比例，有的先把整张切片解析成组织地图，再从中提取几千个特征；还有的开始重点描述肿瘤内部、侵袭边缘和不同组织之间的空间关系，甚至进一步把多个细胞形态指标组合成一套“形态学词典”。所以这次干脆不单独解读某一篇，而是把几项近期研究放在一起，聊聊现时今日的病理组学。我比较感兴趣的其实是两个问题：为什么这条并不新的研究路线，现在仍然有论文红利？又为什么我们已经可以设计出越来越复杂的病理组学特征，却离真正的临床应用仍然很远？ 基础模型这么热，为什么还要聊病理组学？这几年计算病理学的注意力很大一部分都转向了基础模型。过去，我们可能先把细胞核分出来，计算大小、圆度、纹理和空间分布，再挑出几个和预后相关的特征；现在则更习惯把切片切成图块，直接交给预训练模型编码，再通过弱监督多示例学习完成切片级或者患者级预测。后一条路线确实省掉了大量人工特征工程，而且性能往往更强。所以乍一看，传统病理组学似乎应该慢慢退出舞台。但最近这些研究给我的感觉恰好相反。病理组学并没有消失，只是它正在换一种做法。过去比较常见的是“在图像上算特征”，现在越来越多的研究会先利用AI把图像里的病理结构解析出来，再去量化这些结构本身，或者量化它们之间的关系。换句话说，公式未必变得多么新，但我们开始更认真地思考到底应该测量什么。这可能正是目前病理组学还有研究空间的地方。 一个很传统的指标，换一种定义方式也能重新做出文章？先看一篇比较简单的研究。近期一篇 npj Digital Medicine 的胰腺导管腺癌研究，核心量化的指标并不复杂，就是淋巴细胞-间质比值，也就是 LSR。这类比例其实很早就有人研究。淋巴细胞多不多、间质丰富不丰富，本来也是病理医生观察肿瘤微环境时很自然会关注的事情。但问题也很明显：到底哪些淋巴细胞应该算进去？如果切片里正好有一大块淋巴结样组织，把这些淋巴细胞全部计入显然不合理。于是这项研究先用模型把全切片中的不同组织区域识别出来，再进一步对淋巴细胞做空间筛选。作者先排除大片、致密的淋巴细胞聚集区域，然后只保留距离可靠肿瘤区域500 μm以内的淋巴细胞，将其定义为“肿瘤相关淋巴细胞”。最终计算的也不再是一个简单的全片淋巴细胞比例，而是肿瘤相关淋巴细胞占“肿瘤相关淋巴细胞+间质”的比例。我觉得这篇文章挺能说明今天病理组学的一种研究范式。它没有发明一个新的数学公式，也没有提出多复杂的模型结构。真正有价值的地方是：它把一个原本有些模糊的病理概念重新定义得更精确了。过去的问题是“淋巴细胞有多少”，现在进一步问的是“哪些淋巴细胞真正和肿瘤有关”。很多病理学指标本来就有临床含义，只是依靠人工评价时太主观、太粗糙。AI真正能做的，未必一定是创造一个全新的黑盒评分，而是把这些医生原本就理解的指标，做得更客观、更细致、更容易重复。 还是那些形态和纹理特征，但计算对象已经变了另一篇同样发表于 npj Digital Medicine 的胰腺癌预后研究，则更接近大家熟悉的传统病理组学。这项研究建立了一个胰腺癌生存预测系统 HPSurv。它先把全切片中的癌组织、间质、神经、免疫浸润等不同区域识别出来，形成一张完整的组织地图，也就是 Histomap，然后再在这些区域上计算病理组学特征。如果仔细看作者最后提取的特征，其实并不陌生。组织面积、绝对比例、不同组织之间的比例、香农熵属于统计类特征；周长、凸度、质心、椭圆相似性属于形态类特征；纹理方面则仍然使用灰度共生矩阵、局部二值模式这些经典方法。作者还在不同空间分辨率下计算纹理，以描述不同组织区域的均匀程度和异质性。最终一共得到了2742个病理组学特征。之后再经过预后相关性筛选、去除高度相关特征以及LASSO-Cox等步骤，最终保留39个特征用于生存预测。如果把文章中的基础模型、注意力机制和生存Transformer暂时拿掉，会发现它最核心的研究套路其实很熟悉：组织识别，然后特征提取，再特征筛选，最后建模。真正变化的是前半段。过去的病理组学往往直接在原始H&E图像、肿瘤区域或者细胞核上计算纹理和形态；现在则可以先把切片解析成“癌、间质、神经、免疫浸润……”这些具有明确病理意义的区域，再分别去量化。也就是说，方法本身没有完全变，但特征所依附的对象变了。相比不断增加一些很难解释的纹理指标，先把病理结构识别清楚，再研究这些结构的数量、形态和异质性，往往更容易把计算结果和真正的病理学联系起来。下一步，可能已经不是“有什么”，而是“在哪里”第三篇 npj Digital Medicine 的 CENTRAL，我觉得更能代表病理组学接下来可能会发展的方向。这项研究先在全切片上识别15类组织成分，包括上皮、淋巴细胞、间质、坏死、微血管等，再生成高分辨率组织图谱。如果只是做到这里，其实和很多组织分割研究没有太大区别。作者没有简单地计算“整张切片中淋巴细胞占多少”“间质占多少”，而是先把空间划成不同区域：肿瘤内部、肿瘤外部和侵袭边缘。侵袭边缘又设置了80 μm和500 μm两个尺度；此外，还围绕肿瘤上皮构建局部邻域，用来观察不同组织成分之间的关系。在这些区域里，作者计算的不只是面积比例，还包括组织碎片的数量和平均大小、不同组织之间的比例，以及某一种组织是否倾向出现在另一种组织附近。最终形成了3168个肿瘤微环境描述指标。这里就能看到一个比较明显的变化。传统病理组学最常回答的是：这个区域有什么？有多少？形态怎么样？而空间病理组学开始进一步问：它在哪里？靠近什么？是在肿瘤中心还是侵袭边缘？这种空间关系是在几十微米尺度出现，还是几百微米尺度出现？这些问题其实更接近病理医生真正理解肿瘤的方式。比如同样是坏死，大片中央坏死和发生在侵袭边缘的坏死，含义不一定相同；同样是淋巴细胞，进入肿瘤上皮内部和停留在外围，也很可能代表不同的免疫状态。所以我更愿意把这类工作理解为：病理组学正在从“组成分析”，慢慢走向“组织生态关系分析”。这篇文章还有一点我很喜欢：作者真的拿新的特征和传统病理组学特征做了比较。在乳腺癌队列中，CENTRAL 的C指数是0.59，而传统的细胞核纹理、形状和空间排列特征大约是0.56；与此同时，它和多种基于病理基础模型的多实例学习方法相比，也处在大致相近的性能范围。这个结果其实并不算特别惊艳。但反而因为“不惊艳”，更值得讨论。它至少提醒我们一件事：新一代病理组学未必一定要靠一个特别高的C-index指数证明自己的价值。它的优势也可能是，在性能相近的时候，提供一组病理医生能够理解、能够追溯到具体组织结构的数字指标。再往前一步：让模型自己学习“形态学词典”Advanced Science 的一篇研究则走了另外一条路。它仍然从细胞形态开始。每个细胞首先由一组可以解释的形态信息描述，例如细胞核大小、染色质密度、核轮廓平滑程度以及核周围区域的特征。但作者没有把这些基础指标直接拿去做生存分析，而是通过无监督稀疏字典学习，从大量细胞中学习出了128种细胞形态学生物标志物，也就是 CMB。可以把它简单理解成：过去我们直接使用“核大小”、“核染色深度”、“轮廓平滑程度”这样的单项指标，现在则让模型从这些基础指标中学习一些经常共同出现的形态组合。作者随后再从128种CMB中筛选出与预后相关的组合，最后形成13-CMB风险评分。这篇文章另一个有意思的地方，是这些形态模式先从结直肠癌中学习出来，之后在不重新训练特征提取框架的情况下迁移到胃癌、食管癌等胃肠道肿瘤，再针对不同癌种校准风险阈值。所以作者进一步把它包装成了“跨组织的细胞形态学生物标志物”。这个思路其实处在传统病理组学和深度学习表征之间。它不是完全黑盒，因为底层仍然是人能够理解的细胞形态；但它又不再要求研究者提前规定“哪个单独的形态指标最重要”，而是允许模型自己寻找有意义的组合。所谓“旧酒装新瓶”，其实不是一句贬义把这几篇文章放在一起看，会发现它们背后的逻辑确实很“传统”。先识别结构，再量化结构，再寻找和临床结局有关的指标。这和很多年前的病理组学并没有本质上的区别。但“旧酒装新瓶”并不意味着这些工作只是换个名字重复过去。真正变化的是，病理组学正在从很泛化的图像纹理，慢慢回到更具体的病理问题。以前可能问：“这个区域的纹理熵是多少？”现在更可能问：“侵袭边缘500 μm内有多少间质？”“淋巴细胞有没有真正进入肿瘤区域？”“坏死发生在肿瘤中心还是侵袭前沿？”“哪几种细胞形态经常一起出现？”这些问题显然离病理学本身更近。如果一定要简单归纳，我觉得病理组学大致正在经历这样一个变化：早期是在图像上算特征；后来是在病理结构上算特征；现在开始越来越关注病理结构之间的关系。这也是为什么病理基础模型并没有把病理组学淘汰。基础模型擅长从图像里提取高维信息，尽可能少丢失有用信号；病理组学则更关心另外一件事——到底有什么东西值得被明确地测量出来。这两个方向并不冲突。甚至可以反过来说，分割模型、细胞识别模型和病理基础模型越来越成熟以后，病理组学反而获得了一批以前很难实现的“测量工具”。病理组学还有论文红利，但不能再靠“多算几个特征”从科研角度看，我觉得病理组学目前确实还有一段红利期。这里说的红利，并不是说再提取几千个纹理特征、跑一次LASSO就容易发文章。那种最简单的套路，其实已经越来越难讲出新意。现在还有空间的，是找到新的测量对象。比如侵袭边缘、肿瘤-间质界面、神经周围、血管周围、免疫细胞局部邻域、不同细胞之间的排列关系，甚至病理结构在不同尺度下的变化。这些东西很多都是病理医生本来就在看的，只是过去难以稳定、全片、批量地量化。如果能把一个有明确病理意义的现象定义清楚，再证明它能够跨队列复现，文章仍然很好做。但这里也恰恰存在一个风险。当工具越来越方便，我们很容易从“发现新的病理指标”，滑向“批量制造新的病理组学特征”。3000个还不够，可以设计6000个；空间尺度不够，可以再加50、100、200、500 μm；细胞关系不够，可以再算几十种邻域和图结构。技术上当然都可以做。可问题是，特征越来越多，并不等于我们对疾病理解得越来越深。真正麻烦的，是这些指标怎么变成临床能用的东西从论文到临床，病理组学现在还有几个很实际的问题。第一个是标准化。同样叫“间质比例”，到底以什么作为分母？肿瘤边界怎么确定？坏死算不算？不同医院使用不同扫描仪、不同分辨率和不同染色流程以后，还能不能得到同样的数值？空间特征的问题更明显。侵袭边缘到底取80 μm、500 μm还是1 mm，并没有一个普遍接受的答案。只要这些定义还随着论文变化，一个“病理组学特征”就很难像实验室检测指标一样，在不同医院得到真正可比较的结果。第二个问题，是缺少公认的基线。一个新指标证明自己和生存相关，其实还不够。真正需要回答的是：它比已有方法多带来了多少信息？至少应该和简单的病理指标比，和传统核形态、纹理病理组学比，也应该和现在很容易获得的基础模型特征加多实例学习比。CENTRAL做的这组比较就很有意思：新的特征当然有优势，但在乳腺癌队列里，C-index指数从传统病理组学的0.56提高到0.59，并不是一个数量级的改变。这样的结果反而提出了一个更现实的问题：如果为了这0.03的提高，要增加组织分割、空间计算、质量控制和部署成本，它值不值得？这个问题在论文阶段很容易被忽略，在产品阶段却一定会遇到。第三个问题，就是计算成本本身。组织比例还比较简单。一旦进入细胞级分析，整张切片可能有几十万甚至数百万个细胞，需要先分割、再分类、再计算形态，最后还要构建邻域或图结构。模型跑完只是第一步，后面还有大量特征计算和中间结果存储。所以未来评价一个病理组学方法，可能不能只看C指数提高了多少，还得看得到这点提升需要付出多少计算成本。这其实和实验室检测很像。一个指标再漂亮，如果每例成本太高、时间太长、失败率太高，也很难真正进入常规流程。第四个问题，病理组学和传统影像组学不太一样，很多特征建立在一长串上游算法之上。先做肿瘤识别，再做组织分割，再做细胞分割和分类，最后才开始计算比例、距离和空间关系。如果前面的肿瘤边界偏了一点，侵袭边缘特征就会跟着变；细胞分割器换了一个版本，细胞大小、圆度和邻域密度也可能一起变化。这就带来一个很现实的问题：一个病理组学特征究竟是“病人的生物学属性”，还是“病人图像经过某一套算法以后得到的数值”？两者并不是一回事。可解释也不等于稳定。第五个问题，一名患者到底应该拿哪张切片来算？取样这个问题和算法本身相比同样重要。LSR这篇研究自己就提到，由于使用回顾性归档材料，每位患者选取的是病理医生认为“最有代表性”的一张H&E切片，这本身就会带来选择偏倚。作者也提出未来需要多区域取样和进一步空间分析。这其实是病理组学很容易被忽略的问题。一个手术标本可能有很多张切片。第一张和第五张算出来的指标是否一致？一个患者多个蜡块应该取平均、取最大值，还是全部建模？穿刺活检和手术标本得到的同一个“微环境指标”，还能不能用同一套阈值？如果这些问题没有解决，那么模型即使在研究队列中表现很好，到了真实世界也很难定义一个稳定的检测流程。最后一个问题，尤其容易在病理AI文章里被写得过头：“预后相关”离“指导治疗”，中间还隔着很远。能够预测总生存，并不等于能够指导治疗。如果模型发现高风险患者生存更差，这说明它是一个预后指标；但要进一步说“高风险患者更适合某一种治疗”，则需要证明不同治疗方案与这个生物标志物之间存在真正的交互作用。HPSurv文章在这一点上其实写得比较克制。作者明确指出，目前的分析基于回顾性数据，因此应该主要理解为预后模型，而不是直接用于治疗决策；要判断它能不能预测辅助治疗获益，还需要前瞻性研究和正式的治疗-生物标志物交互分析。CMB文章同样承认，现阶段主要证明的是风险分层价值，在真正进入临床决策之前仍然需要前瞻性验证。CENTRAL也明确指出，目前主要依据回顾性队列，未来仍需更大规模的前瞻性验证。所以这里其实存在一道非常清楚的分界线：“和结局相关”是科研问题；“用了以后患者是否获益”才是临床问题。现在绝大部分病理组学研究，仍然停留在前者。 病理组学真正缺的，也许已经不是更多特征，而是“测量学”所以看到最后，我反而觉得病理组学未来最值得做的事情，未必是设计出越来越复杂的特征。病理医生每天其实都在使用大量非常有价值、但并不精确的描述：间质丰富不丰富，淋巴细胞多不多，坏死广不广，侵袭边缘活不活跃，细胞异型明显不明显。这些概念并不是新的，它们很多已经用了几十年。问题是，我们一直没有很好地把它们变成稳定的数字。如果AI能够帮助病理学完成这件事情——把一个医生能够看到、但过去很难准确测量的现象，变成一个能够跨医院重复得到的定量指标——我觉得这可能比单纯再提高一点AUC更有长期价值。从这个角度看，病理组学的角色也许应该重新理解。它不只是另一种预测模型，更像是计算病理学的一套测量工具。而测量工具真正成熟的标志，并不是一次研究中P值显著，而是同一个患者换一家医院、换一台扫描仪、换一个软件版本，最后测出来的东西仍然基本一样。到了那一步，我们才真正有资格把这些数字称为“生物标志物”。所以，从论文发表的角度看，我仍然认为病理组学有一段不错的红利期。新的病理结构、新的空间关系、新的定量定义，仍然有很多东西可以做。但从临床转化的角度看，真正缺的是从这些特征里留下几个确实有增量价值的指标，然后把它们做成不同中心都能测、换了设备还能测、重复检测结果接近，并且最终能够影响临床决策的标准化生物标志物。这一步，显然比再发一篇病理组学文章难得多。也正因如此，今天看病理组学，我觉得最有意思的并不是它“还能不能发文章”。而是这瓶“旧酒”，什么时候真正能从论文里的新瓶，走进临床的杯子里。 本文章转载自微信公众号：AI病理视界 

Google的开放医学视觉语言模型MedGemma近日正式发表于Nature Medicine。这款能够处理多种医学图像和文本的模型，为医疗AI提供了一个开放、相对轻量且支持本地部署的技术底座。但对于数字病理领域，一个值得思考的问题是：能够理解多种医学图像，是否意味着能够胜任高度专业化的病理分析任务？我们曾尝试利用MedGemma识别三级淋巴结构（TLS）的成熟度，经过几十版提示词调整，效果仍不理想。与此同时，在Google举办的MedGemma Impact Challenge中，开发者探索了全切片问答、病理模型协作、报告生成等多种应用。这些实践带来了一个启发：MedGemma在病理领域的价值，或许不在于取代专业病理模型，而在于帮助已有的病理AI能力进入更丰富的临床与科研场景。我们试着结合最新论文与Google官方挑战赛中的代表性作品，讨论通用医学大模型在病理领域究竟应该如何定位。 一、医学大模型走向开放与轻量化Google团队近日在Nature Medicine发表的论文系统介绍了开放医学视觉语言模型MedGemma的设计、性能与应用潜力。过去几年，医学AI逐渐形成两条发展路线。一条是高度专业化的视觉模型，例如面向胸部CT、乳腺影像和数字病理等领域的基础模型，主要通过特定模态的大规模数据训练，再针对下游任务进行适配。另一条则是通用医学大模型，希望通过一个统一模型理解医学图像、临床文本与医学知识。MedGemma属于后一条路线。它基于Google的Gemma 3模型家族，通过医学领域数据训练，提升医学图像理解与文本处理能力。论文介绍了MedGemma 4B、MedGemma 27B两个多模态模型，以及专门处理文本的MedGemma 27B Text。其中，多模态版本能够接受医学图像与文本输入，覆盖放射影像、数字病理、皮肤科和眼科等领域。此外，Google还提供了约4亿参数的医学视觉编码器MedSigLIP，作为MedGemma视觉理解能力的重要组成部分。 相比完全依赖云端接口的封闭模型，MedGemma的优势之一是开放权重。研究人员可以根据许可条件下载、部署和进一步微调模型。对于涉及患者隐私和数据安全的医疗机构，本地部署具有现实吸引力，而4B参数版本也降低了部分应用的算力门槛。那MedGemma的医学图像能力究竟如何呢？论文使用医学知识问答、图像分类、视觉问答、报告生成和模拟临床任务等多个基准进行评估。整体来看，医学领域的专门训练确实改善了模型表现。以数字病理为例，在PathMCQA病理图像选择题评测中，MedGemma 4B的准确率达到69.8%，明显高于原始Gemma 3 4B的37.1%；MedGemma 27B进一步达到71.6%，而Gemma 3 27B为42.2%。值得注意的是，在这项评测中，MedGemma 4B还超过了论文比较的Gemini 2.5 Flash和Gemini 2.5 Pro，后两者准确率分别为46.9%和42.7%。这说明，通过医学领域训练，相对较小的模型也可能在特定医学任务上取得优于更大通用模型的表现。不过，这些结果也需要结合任务本身理解。PathMCQA主要考察模型根据病理图像回答选择题的能力，并不等同于真实临床环境中的病理诊断。临床病理需要综合不同放大倍数下的组织结构、细胞形态，有时还需要结合免疫组化、分子检测及临床资料。在一张乳腺癌H&E图像的开放式问答示例中，MedGemma能够描述细胞异型性、明显核仁及核分裂活动，并判断可能属于高级别浸润性癌，但没有进一步给出病理医生提供的具体诊断——浸润性导管癌。这个例子并不能证明模型缺乏更具体的诊断能力，却反映了从一般性病理形态描述到专业病理诊断之间的区别。事实上，论文作者也没有宣称MedGemma可以直接胜任所有医学任务。相反，他们强调它可以作为不同医学任务进一步训练的起点。研究显示，对MedGemma进行专项微调能够提升具体任务性能，尤其在训练数据有限时，医学预训练具有一定优势。论文讨论部分还明确指出，当前先进的病理专用视觉编码器，在若干病理基准任务上仍然优于MedGemma或MedSigLIP。因此，MedGemma最值得关注的，并不是它已经成为最强的病理图像识别模型，而是它提供了一个相对开放、灵活、能够连接不同医学数据的技术底座。这也引出了一个问题：在病理基础模型已经快速发展的今天，我们究竟应该如何使用MedGemma？ 二、一次不太成功的尝试：我们用MedGemma识别TLS成熟度在讨论应用前，我们想分享一次自己的实际探索。三级淋巴结构TLS是近年来肿瘤微环境研究中的热点。其存在、空间分布和成熟程度可能与肿瘤免疫状态、患者预后及免疫治疗反应相关。对于病理AI而言，识别TLS并不只是找到淋巴细胞聚集区域。进一步判断其成熟程度，还需要观察组织结构是否形成相对明确的滤泡样结构、生发中心等特征；部分判定标准还需要免疫组化辅助确认。我们曾尝试利用MedGemma，根据H&E图像判断TLS的成熟度。最初的想法很自然：既然MedGemma能够理解医学图像，又具备相关医学知识，那么是否可以通过提示词，告诉模型不同成熟阶段的形态学标准，让它直接完成判断？我们调试了几十版不同的提示词，包括强调淋巴细胞聚集的组织化程度、滤泡样结构、生发中心相关线索，以及将成熟度判断拆解为多个步骤。但结果始终不理想。模型有时能够生成看似专业的病理描述，却难以稳定地区分不同成熟阶段的TLS。这使我们重新思考：当模型本身缺乏某种细粒度视觉辨别能力时，反复优化提示词究竟还能带来多大的改善？ 视觉语言模型能够理解我们在问什么，也可能知道成熟TLS与生发中心形成有关，但这并不意味着它一定能够从复杂的H&E图像中准确识别对应结构。对于TLS成熟度这样的任务，关键是能否可靠捕捉决定分类的细微组织学差异，而不仅仅是生成符合医学表达习惯的回答。提示词当然有价值。它可以引导模型聚焦问题、规范输出、减少歧义，但无法保证模型获得原本缺乏的视觉辨别能力。如果视觉编码器没有充分学习相关结构，即使我们把判定标准描述得非常详细，结果也未必可靠。需要说明的是，我们的尝试并非经过严格设计的公开基准研究，也没有对MedGemma进行TLS专项微调，因此不能据此断言经过充分训练后，它仍无法完成这一任务。但这一经历至少提醒我们：能够理解医学图像，并不等于能够直接胜任高度专业化的病理分析任务。这也是我们一直以来比较明确的观点。对于细胞检测、组织学分级等具体任务，经过充分训练与验证的专业病理模型，通常是更合理的起点。甚至在病理基础模型之上，还可能需要针对特定器官、疾病或具体任务进行进一步适配。但如果这些任务已经有更专业的模型，MedGemma这样的通用医学模型又应该发挥什么作用？ 三、抛砖引玉：MedGemma Impact Challenge中的病理AI探索2026年初，Google在Kaggle平台举办The MedGemma Impact Challenge，鼓励开发者利用MedGemma及相关开放医学AI模型，探索实际医疗应用。我们检索了其中一些与数字病理相关的参赛作品，发现开发者并不都在尝试让MedGemma直接完成病理诊断，而是探索了几条颇具代表性的路线。这些项目大多仍处于研究原型阶段，不能等同于完成临床验证，但其思路值得借鉴。1. Medigent：通过微调，让MedGemma学习具体病理任务项目地址：https://github.com/a7m-1st/medigentMedigent是一个多智能体医疗AI项目，其中包含结直肠癌H&E图像分类实验。开发者利用NCT-CRC-HE-100K相关数据，通过LoRA方法对MedGemma进行专项微调，使其识别肿瘤上皮、正常黏膜、淋巴细胞、间质等九类组织。根据项目报告，微调后的模型在其测试集上取得约94%的分类准确率。这一结果说明，MedGemma可以通过专业数据进行进一步适配，改善具体病理任务的表现。但它并不意味着MedGemma一定优于病理专用视觉编码器。例如，利用UNI、Path Foundation或其他病理基础模型提取特征，再训练轻量分类器，也可能取得很强的性能，且计算成本未必更高。因此，Medigent真正值得借鉴的是医学通用模型的专项微调能力，而不是某个单独的分类准确率。它也引出了一个值得比较的问题：如果最终只是完成固定类别的组织分类，使用完整视觉语言模型，相比专业病理编码器加分类头，究竟有什么优势？2. ANTONI-Alpha：让MedGemma具备全切片理解能力项目地址：https://github.com/computationalpathologygroup/ANTONI-AlphaANTONI-Alpha由Radboudumc计算病理团队开发，目标是让MedGemma能够理解全切片图像（WSI）并进行交互式问答。这并不是一件简单的事情。一张WSI可能具有十亿级像素，包含不同放大倍数下的组织结构和细胞形态，无法直接按照普通医学图片的方式输入模型。ANTONI-Alpha采用专门的病理视觉编码器提取WSI特征，再通过跨模态连接模块，将这些特征输入MedGemma，并利用病理指令数据进行进一步训练。根据开发者报告，与原始MedGemma 4B相比，模型的肿瘤识别F1从70%提升至81%，鉴别诊断准确率由40%提升至68%。这些属于项目自身评测结果，尚不能直接代表临床诊断性能。值得关注的是，项目还支持全切片与局部感兴趣区域相结合的问答，使用户能够围绕整张WSI或特定组织区域进行交互。它所展示的思路是：不必要求MedGemma原有的通用视觉编码器理解所有病理细节，而是可以借助专业的病理视觉基础模型，为MedGemma的语言模型部分提供更高质量的组织形态信息。这可能是通用医学语言模型与病理基础模型结合的一条重要路线。3. Enso Atlas：专业病理模型负责预测，MedGemma负责结果整合项目地址：https://github.com/Hilo-Hilo/enso-atlasEnso Atlas结合Path Foundation、CLAM、TransMIL、MedSigLIP和MedGemma等组件，支持全切片分析、预测结果展示、注意力热图、相似病例检索与结构化报告生成。项目涉及卵巢癌铂类治疗敏感性预测、生存预测以及肺腺癌分期等任务。与前两个项目不同，Enso Atlas并不让MedGemma直接完成主要的病理预测，而是由专业病理模型提取图像特征并输出预测，再将患者临床信息、预测结果、重点关注区域及相似病例等信息交给MedGemma，生成可阅读的医学报告。这种分工很值得借鉴：专用病理模型承担经过训练的分析任务，使用Medgemma的语言模型负责整合不同来源的信息，并提供更便于理解的表达方式。但这里也存在一个重要问题。根据项目公开实现，其MedGemma报告模块主要接收结构化数据与文本提示，并没有在该流程中直接重新分析原始H&E图像。因此，生成的形态学描述未必具有直接的视觉证据支持。例如，MIL模型对某些区域赋予较高注意力，并不意味着模型一定是因为坏死、淋巴细胞浸润或其他特定形态而作出预测。若没有进一步验证，MedGemma生成的合理解释也不等于真实的模型预测机制。医学语言模型可以帮助解释和呈现AI结果，但语言表达的合理性，不等于病理证据的真实性。尽管如此，Enso Atlas所展示的多模型整合、结果展示与本地部署思路，仍然具有很高的工程参考价值。4. Agentic Histopathology Assistant：让MedGemma连接不同的病理AI工具项目地址：https://github.com/eshbanbahadur/medgemma-pathology-assistant这一项目采用多工具协作的方式，结合病理图像分类、视觉特征提取、相似病例检索、可视化及报告生成，由MedGemma承担部分医学理解、结果解释和交互任务。它的核心思路是，不必将所有能力都训练到同一个模型中，而是让不同模块完成各自擅长的任务。例如，系统可以先调用专业视觉模型分析图像，再通过检索模块寻找相似病例，最后结合已有结果生成医学报告。这种方式更接近目前受到广泛关注的AI Agent：由语言模型理解用户需求，再协调多个专业工具完成分析流程。项目目前仍属于早期原型，但它反映了一种值得关注的趋势：MedGemma未必需要成为最强的病理视觉模型，也可以成为连接不同病理AI能力的交互组件。四个项目，四种不同的思路。将这些作品放在一起，可以看到开发者对MedGemma的不同定位。Medigent尝试直接微调MedGemma，让它完成具体病理分类；ANTONI-Alpha引入病理专用视觉编码器，使其具备更强的WSI理解能力；Enso Atlas将MedGemma作为专业病理预测模型的结果整合模块；Agentic Histopathology Assistant则尝试让它协调不同的病理分析工具。这些路线没有绝对的优劣，其价值取决于实际任务。但一个有意思的现象是，当应用从单一图像分类走向更加复杂的病理工作流时，MedGemma的角色也逐渐从直接识别图像，转向医学语言理解、信息整合与工具协作。这可能比单纯比较它在某个病理数据集上的分类准确率，更值得我们思考。 四、通用医学模型与病理专用模型，究竟是什么关系？过去几年，病理领域已经出现了UNI、Virchow、Hibou、GigaPath、TITAN等一系列基础模型。这些模型虽然采用不同的技术路线，但都针对病理图像开展了专门训练，能够为组织分类、预后预测、分子特征预测等下游任务提供专业视觉表征。相比之下，MedGemma需要同时理解放射影像、病理图像、眼科、皮肤科等不同领域，并兼顾医学知识与语言交互能力。两类模型追求的目标本身就不相同。对于具体的任务，临床最需要的是准确、稳定、可重复的结果。经过充分训练和验证的专业模型，往往是更合理的技术选择。对于某些高度专业化的任务，甚至需要在通用病理基础模型之上，进一步利用特定器官、疾病或任务数据进行适配。这不意味着每个任务都必须从头训练一个模型。相反，共享高质量病理基础模型，再进行轻量化的任务适配，可能更符合实际研发需求。但如果我们把通用医学模型与专业病理模型看作相互竞争的关系，可能就忽略了MedGemma最值得利用的优势。传统病理视觉模型擅长提取图像特征，却通常不负责理解医生的自然语言需求，也未必能够读取临床报告、协调不同工具或组织复杂的医学信息。MedGemma这样的模型则具备医学文本理解、多模态交互与语言生成能力。因此，我们更倾向于认为，通用医学模型与病理专用模型是互补关系，而不是必须相互取代。专业模型负责可靠的病理分析，通用医学模型则可能帮助理解需求、连接数据、协调工具和组织结果。真正需要判断的，不是一个模型能否完成所有任务，而是这种分工能否解决现有病理AI工作流中的实际问题。 五、MedGemma在病理领域，还有哪些值得探索的应用？如果不再要求MedGemma直接承担复杂的病理诊断任务，而是充分利用其医学知识、语言理解和多模态交互能力，那么它在数字病理领域或许还有不少值得探索的应用场景。首先是自然语言驱动的病理AI分析工作流。目前，肿瘤区域分割、细胞检测、TLS定量、预后预测等算法往往以独立工具的形式存在。如果能够利用MedGemma理解医生或研究者的自然语言需求，自动选择和调用相应的专业模型，再汇总分析结果，就有机会降低病理AI的使用门槛，让缺乏编程经验的临床医生也能更加方便地使用这些工具。其次是病理报告理解与多模态信息整合。病理文字报告包含大量有价值的临床信息，MedGemma可以用于提取和标准化组织学类型、分级、免疫组化及分期等内容，辅助报告质控、病例筛选和科研队列构建。进一步结合H&E图像分析结果、分子检测和临床资料，还有机会实现跨模态的信息关联、一致性检查与交互式查询。病理病例检索与知识辅助同样值得关注。通过将MedGemma的语言理解能力与病理专用视觉编码器结合，医生未来或许可以直接用自然语言描述感兴趣的组织学特征，检索具有类似形态的WSI或局部区域，并关联病理报告、相关文献和临床信息，为疑难病例讨论、教学和科研提供辅助。此外，病理科研自动化也可能是一个具有实际价值的方向。从临床资料整理、研究队列筛选，到图像分析流程配置、模型训练任务管理和结果汇总，许多工作都需要医学知识与不同软件工具之间的协作。MedGemma如果能够作为智能助手连接这些工具，可能帮助研究人员减少重复操作，将更多精力投入真正的科学问题。当然，这些应用并不意味着MedGemma可以直接替代病理医生或专业算法。无论是自动调用工具、报告生成还是多模态信息整合，都需要充分验证准确性、可靠性与结果的可追溯性。相比让MedGemma学会识别更多病理图像，我们或许更应该思考，如何利用它已有的医学语言和交互能力，让现有的病理AI模型发挥更大的实际价值。 六、结语：病理AI真正需要的，或许不是另一个无所不能的模型MedGemma发表于Nature Medicine，无疑是开放医学视觉语言模型发展中的一个值得关注的进展。它展示了如何通过医学领域训练，在相对有限的参数规模下实现跨模态医学理解，并为研究者提供灵活的二次开发基础。但对于病理领域，我们也应该认识到通用医学能力与专业病理分析能力之间的差距。对于严肃的病理分析任务，高质量的专业训练数据、适合任务的视觉模型及严格验证仍然不可替代。因此，我们并不认为病理AI的未来一定需要一个什么都能看的通用医学模型。病理专用基础模型，以及针对不同器官、疾病和任务的进一步适配，仍然具有非常重要的意义。但MedGemma Impact Challenge中的探索，也提供了另一种启发。或许MedGemma最值得发挥的作用，并不是替代这些专业病理模型，而是帮助它们更好地协同工作。当专业病理模型负责图像分析，医学语言模型负责理解需求、连接数据、组织结果与协调工具时，我们可能构建出更接近真实临床与科研需求的系统。评价这类系统，也不能只关注某个模型的分类准确率，还应关注整个流程的可靠性、证据可追溯性、医生审核负担以及实际效率的改善。这并不意味着所有病理AI系统都必须引入MedGemma。真正重要的是找到那些传统病理AI方法难以解决，而医学语言模型能够提供明确额外价值的场景。对于病理AI而言，我们或许并不缺少越来越强大的图像识别模型，真正缺少的是让这些模型更容易被医生和研究者使用的工具。那么，如果不再把MedGemma看作一个单纯识别病理图像的模型，而是将它视为开放、轻量、具备医学知识的智能组件，在真实的病理工作中，还有哪些值得探索的应用？欢迎大家讨论。或许下一个真正有价值的MedGemma在病理中的应用，来自一个长期困扰临床和科研工作的具体问题。 本文章转载自微信公众号：AI病理视界

多模态融合是近年来病理AI的重要研究方向。将病理图像、基因组学和临床信息结合起来，通常能够获得比单一模态更丰富的疾病表征。然而，一个经常被忽视的问题是：如果模型必须同时获得所有模态才能完成预测，那么那些缺少基因检测、影像检查或完整临床数据的患者，是否就被排除在AI的服务范围之外？这种情况在真实临床环境中十分普遍。不同医院的数据采集条件不同，即使在同一家医院，不同患者接受的检查也可能存在差异。多模态模型虽然提高了预测性能，却可能因为对完整数据的依赖，限制最终能够获益的患者数量。近日Advanced Science发表了一项来自芝加哥大学、南华大学等机构研究团队的工作，提出了DAIMS框架，尝试解决多模态建模中两个紧密相关的问题：缺失模态，以及不同医院之间的数据分布差异。研究最值得关注的设计是：利用病理、基因和临床报告共同训练模型，但最终只需要H&E病理切片，就能完成患者的生存风险分层。 作者还进一步引入域适配策略，使模型能够利用新医院未标注的病理图像调整预测能力。这一研究为多模态病理AI的临床部署提供了值得借鉴的思路。不过，域适配是否仍然依赖目标医院的一批患者数据，以及这种适配方式能否支持真实世界的逐例预测，同样值得深入讨论。 一、多模态模型的一个现实矛盾：预测性能提高了，能使用的患者却可能减少目前，许多多模态病理AI研究采用相似的技术路线：使用病理基础模型提取全切片图像特征，再与基因组学、临床指标或影像特征进行融合，最终预测患者的预后、治疗反应或分子状态从技术角度看，这种设计具有明确的合理性。病理图像反映组织形态及肿瘤微环境，基因组学描述分子改变，临床信息则提供患者的疾病分期、治疗过程等背景。不同模态之间具有互补价值。但这些研究往往基于一个隐含前提：训练和预测时，患者都具有相同的完整模态。这与真实临床环境存在明显差异。以基因组学为例，部分患者可能因为费用、样本质量、检测条件等原因没有接受完整分子检测；部分早期患者也可能不需要进行全面的基因检测。此外，既往患者的临床记录未必完整，不同医院采集的指标也未必一致。如果一个模型需要同时输入病理、基因和临床信息才能使用，那么只要其中一个模态缺失，患者就可能无法获得预测结果。因此，评价多模态AI的临床价值，不能只关注完整数据患者中的预测准确率，还应考虑模型能够覆盖多少真实患者。一个在完整数据集上表现优秀、却只能服务少数患者的模型，未必比一个准确率稍低、但能覆盖绝大多数患者的模型具有更大的临床价值。在这一背景下，缺失模态处理不再只是一个技术细节，而是决定多模态AI能否广泛落地的重要问题。 二、DAIMS的核心设计：让病理图像学习其他模态的信息研究团队提出的DAIMS，全称为Domain-Adaptive Incomplete Multimodal Stratification，即具有域适配能力的缺失多模态风险分层框架。研究使用了三个结直肠癌患者队列，包括351例TCGA患者、420例中国F1CRC患者，以及422例英国SURGEN患者，总计1193例。TCGA作为主要训练队列，具有病理图像、基因组学和临床报告数据；另外两个队列主要用于病理单模态条件下的跨中心验证。整个框架的核心可以概括为三个步骤。 1. 首先通过多模态数据学习更丰富的疾病表征对于病理图像，研究分别采用UNI v1、UNI2-h、Virchow2和CONCH v1.5四种病理基础模型提取图像特征，以检验方法能否适用于不同病理编码器。对于基因组学数据，研究将分子信息组织为通路层面的特征；对于临床报告，则先将文字信息进行结构化处理，再使用BioBERT等语言模型编码为向量表征。随后，作者引入基于原型引导的特征聚合与融合模块（PGAF），从不同模态中选择与预后相关的信息，并将其映射到统一的特征空间。这里的原型可以理解为模型学习到的、与不同预后风险相关的代表性特征模式。利用这些原型，模型可以从大量图像区域及其他模态特征中，聚合对患者风险预测更有价值的信息。这些多模态特征最终通过冻结的语言模型编码器进行融合，获得患者的风险预测结果。需要指出的是，这里的语言模型主要承担特征交互与融合任务，并非用于生成文本的对话式大语言模型。2. 核心创新：根据病理图像重建缺失模态的特征这是DAIMS最值得关注的部分。传统多模态融合模型通常将不同模态的特征直接拼接，或者通过交叉注意力机制完成信息交互。如果其中一个模态缺失，相应的输入特征也就不存在，原有融合结构可能无法正常工作。DAIMS采用了不同的思路。 在训练阶段，模型能够同时看到病理图像、基因组学和临床报告。作者由此训练一个跨模态特征重建模块，让模型学习如何根据病理图像，生成具有基因组学或临床信息特征的潜在表示。具体而言，该模块利用其他模态中学习到的特征原型作为引导，通过交叉注意力机制，将病理特征转换成对应模态的替代特征。这样，当预测时缺少基因组学或临床报告，模型仍然可以利用病理图像生成替代特征，并送入后续融合网络，完成风险预测。需要强调的是，DAIMS并不是根据H&E图像直接生成患者的真实基因检测结果或临床报告，而是在模型内部重建用于预测的特征向量。这一区别非常重要。病理图像确实可能包含与部分分子改变相关的形态线索，但不意味着能够完整、准确地恢复患者所有分子和临床信息。DAIMS真正希望保留的是这些模态中与预后预测相关的补充信息。在特征重建实验中，模型对基因通路特征的重建效果较好，决定系数R²达到0.854；对于临床报告特征，R²为0.422，说明后者仍存在相当程度的信息损失。这也提示我们，跨模态重建的目标不应被简单理解为“用病理替代所有其他检查”，而是让病理模型尽可能吸收其他模态带来的有效监督信息。3. 最终将病理作为稳定的临床输入通过上述训练，DAIMS形成了一条可以独立使用病理图像的预测路径。在TCGA训练过程中，作者还模拟了不同程度的模态缺失，包括基因组学与临床报告分别缺失30%和30%、20%和40%、40%和20%等情况，评估模型对不完整数据的适应能力。研究发现，在这些不同缺失比例下，模型仍然能够维持较好的预后风险分层能力。更重要的是，在两个外部队列中，DAIMS不再要求患者同时提供基因组学和完整临床报告，而是直接以病理WSI作为模型输入。由此形成了一种具有实际应用价值的技术范式：训练时充分利用多模态信息，预测时则尽可能依赖最常规、最容易获得的模态。对于病理AI而言，H&E切片具有天然优势。与昂贵的分子检测相比，常规组织病理检查覆盖面更广，也是大多数实体肿瘤患者诊断过程中的必要环节。如果能够让多模态训练获得的知识最终服务于病理单模态预测，就可能在保留部分多模态性能收益的同时，显著降低模型的临床使用门槛。 三、研究结果：多模态训练，能否真正改善病理单模态预测？为了验证这一思路，作者不仅比较了DAIMS与已有病理预测模型的性能，也通过消融实验分析了其他模态是否真正为病理预测提供了额外价值。在TCGA的消融实验中，使用CONCH v1.5编码器时，完整多模态训练的DAIMS在仅使用病理进行评估的条件下，C-index达到0.761。如果训练时去掉基因组学和临床报告两类辅助模态，C-index下降到0.719。这一结果说明，多模态数据的价值并不一定局限于预测时直接提供额外输入。即使最终只保留病理图像，训练阶段的基因组学和临床信息，也可以帮助模型学习更有效的病理表征。在两个外部队列中，研究进一步评估了域适配后的预测性能。在中国F1CRC队列中，采用CONCH v1.5作为病理编码器，DAIMS在其中一种缺失模态训练设置下的C-index达到0.810，而未经目标域适配的病理单模态DAIMS分支为0.675。在英国SURGEN队列中，使用UNI2-h编码器时，域适配后的最佳C-index达到0.734，未经适配的病理单模态DAIMS分支为0.623。需要注意的是，域适配后的完整结果还涉及队列内部的预测分数排序融合，因此这些数值差异不能全部简单归因于模型参数微调。这些实验整体支持了两个判断：其一，多模态监督可以提高最终病理单模态模型的预测能力；其二，不同医院之间的数据分布差异依然存在，针对目标医院的适配可能进一步提高模型性能。研究还在不同治疗方式、疾病分期和分子亚型患者中进行了风险分层分析。例如，在接受不同化疗或手术治疗的患者中，以及BRAF、KRAS和MMR等分子亚组内，DAIMS均能够识别出生存结局存在差异的高低风险人群。 不过，这些结果证明的是同一治疗或分子亚组内部的预后风险区分能力，并不能直接说明模型能够预测患者从某一种治疗中获益多少，更不能据此选择最优治疗方案。治疗获益预测仍需要进一步考虑治疗选择偏倚和因果效应等问题。在可解释性方面，研究通过预后原型生成病理热图。高风险区域往往与低分化、浸润性较强、结构紊乱的肿瘤区域相关，而相对低风险的区域更多对应良好分化的腺体结构或非肿瘤组织。部分形态学关联在不同医院队列中仍然能够观察到。这为模型学习到的风险表征提供了一定的病理学解释，但目前仍主要属于定性观察，需要进一步通过系统性形态指标量化进行验证。 四、域适配是另一个亮点，但也带来了新的部署问题除了缺失模态，DAIMS还专门处理了不同医院之间的域差异。所谓域差异，可以理解为模型训练医院与实际使用医院之间的数据分布不一致。例如，染色方案、切片扫描仪、图像分辨率、患者群体、疾病分期分布乃至生存终点都可能存在差异。这些因素可能导致一个在训练医院表现良好的模型，迁移到其他医院后出现明显的性能下降。为此，作者采用了基于伪标签的域适配策略。在外部医院，研究首先使用原始模型对当地患者的病理切片进行预测，生成伪风险标签。随后，模型根据预测的一致性筛选相对可靠的病例，逐步更新病理特征适配器和生存预测模块，而病理基础模型、缺失模态重建模块以及语言模型主干保持冻结。研究采用了8轮迭代适配，每轮训练4个epoch，每次选择最多50%的目标域病例参与更新。整个过程中不使用目标医院患者的真实生存时间或删失标签。这一设计的优势很明确：新医院不必等待患者长期随访结束，也不必重新收集完整的多模态数据，就可以利用本院已有的病理切片进行模型适配。但从临床部署角度看，它也留下了几个值得关注的问题。首先，适配不需要预后标签，却仍然需要一批患者研究在F1CRC和SURGEN两个外部队列中分别开展域适配，这两个队列包含420例和422例患者。这种方法适合医院已经积累了一批数字化病理切片，希望在本院部署模型的场景。但如果模型需要推广到大量不同医院，每家医院都需要提前准备一批病例、提取特征并完成模型更新，那么仍然会产生额外的实施成本。更重要的是，论文尚未充分回答：完成稳定适配究竟需要多少例患者？如果新医院只有几十例样本，是否仍然有效？不同的适配样本量会对最终性能产生多大影响？这些问题直接关系到方法的推广范围。其次，队列适配并不等于逐例独立预测按照论文描述，外部队列的WSI用于无标签域适配，随后在对应队列上评估模型的预测表现。这种评价方式可以研究模型利用目标域数据进行适配的能力，但与实际临床中“先完成部署，再对未来新患者独立预测”的场景仍有区别。此外，作者最终的风险分数不仅来自适配后的生存模型，还融合了模型估计的删失概率，并在目标队列内部进行排序后再合并。因此，最终预测分数具有一定的队列依赖性。如果临床使用时只有一位新患者，就不能直接按照论文中的方式计算其在整个目标队列中的排名。这并不意味着研究存在传统意义上的生存标签泄露，因为作者明确说明没有利用目标队列的真实预后标签进行适配。但是，在外部验证中使用目标病例的输入特征参与适配，与模型完全固定后对未来独立患者进行预测，仍然是两种不同的评价场景。此外，删失概率与患者随访过程有关，并不等同于肿瘤本身的生物学风险。不同医院的随访机制可能不同，将其与生存风险进行排序融合，是否会引入新的跨中心偏差，也值得通过独立消融实验进一步确认。对于真正面向临床的预后模型，理想的工作流程应当是：模型在完成训练及必要的医院适配后保持固定，新患者只需输入自己的病理切片，就能够得到可重复、可解释的预测结果，而不依赖同期其他患者的数据。最后，域适配的收益应该与零适配部署进行权衡值得注意的是，DAIMS的消融实验已经表明，经过多模态监督训练的病理单模态分支，即使不进行目标医院适配，也能够取得优于多数传统病理基线的表现。从临床转化的角度看，这一点可能比域适配后的最高C-index更加重要。对于希望推广到多家医院的病理AI模型，是否可以优先利用多中心训练、更加鲁棒的病理基础模型和跨模态知识迁移，提高模型在新医院的直接泛化能力？如果不进行任何医院特异性更新，就能获得具有临床价值的预测性能，那么这种模式在推广、维护和质量控制方面可能具有明显优势。相比之下，域适配可以作为一种可选的性能增强措施，而不是每家医院部署模型之前必须完成的步骤。当然，对于存在显著数据分布差异、零适配性能明显下降的医院，利用少量未标注数据完成轻量化适配，仍然可能是一种合理的折中方案。未来更有说服力的验证方式，是将目标医院的数据分为适配集和独立测试集，先使用前者完成无标签适配，再将模型固定，在后续患者上进行严格的独立验证。同时，还应比较不同适配样本量下的收益，明确模型从几十例到数百例患者时的性能变化。 五、从这项研究出发，病理AI如何更好地处理缺失模态？DAIMS的价值，并不局限于结直肠癌预后预测。它提示我们，多模态研究的目标未必是让每一位患者都提供更多数据，也可以是利用具有完整数据的患者，训练出能够服务更广泛人群的模型。未来的多模态病理AI研究，可以进一步区分训练阶段和实际应用阶段的需求。在训练阶段，可以充分利用具有病理、基因、临床和影像等多种数据的患者，探索跨模态的知识迁移、特征重建或知识蒸馏，让病理模型学习其他模态所包含的有效信息。在应用阶段，则应优先考虑最稳定、最容易获得的输入。对于以H&E切片为基础的模型，可以将病理作为必需模态，而把分子检测、影像以及其他临床变量设计为可选的增强信息。这样，即使患者只有病理切片，模型仍然能够提供基础预测；如果其他模态齐全，则可以进一步利用它们提升预测精度，而不必因为缺少某一项检查就拒绝预测。与此同时，缺失模态模型的研究评价也应该更加贴近真实临床环境。除了在完整数据集上比较C-index或AUC，还应考察不同缺失组合下的性能、模型能够覆盖的真实患者比例，以及跨中心部署后是否需要额外训练。在域迁移问题上，也应明确区分完全无需适配的外部泛化、利用未标注数据的医院级适配，以及需要真实结局标签的模型校准。这三种方案的临床实施成本和适用条件并不相同，不宜简单地用最高预测准确率进行比较。对于生存预测尤其如此。能够在某个队列内部区分高低风险，并不意味着模型已经具备跨医院一致的绝对风险估计能力。后者通常仍需要明确的预测时间点、统一的生存终点以及独立的临床校准验证。 结 语近年来，病理基础模型和多模态融合方法不断发展，模型架构越来越复杂，能够整合的数据类型也越来越丰富。但当研究开始真正走向临床时，一个更加基础的问题正在变得重要：模型究竟需要患者提供多少数据，才能发挥作用？DAIMS提供了一种值得借鉴的思路，即利用多模态监督增强病理表征，再通过跨模态特征重建，使模型能够在缺少其他模态的情况下完成预测。其域适配实验也证明，利用目标医院未标注病理数据进一步优化预测是可行的，不过这种队列级适配方式距离完全独立、逐例运行的临床系统仍有一定距离。多模态融合的最终价值，不应该只是让数据齐全的患者获得更准确的预测，更应该让先进模型能够服务于更多数据并不完整的真实患者。在这一意义上，从追求最强的多模态模型，转向追求真正能够部署的多模态AI系统，或许是未来病理AI研究更值得关注的方向。 本文章转载自微信公众号：AI病理视界

病理AI正经历模型研发的快速发展，但临床验证却没有跟上。最新发表于npj Digital Medicine的一项研究，对77款已获得监管授权的病理及血液形态学AI诊断软件进行了系统调查，发现61%的产品缺乏可检索的公开性能验证证据，即使已有公开研究，也普遍存在回顾性设计占主导、评价标准不统一等问题。这篇文章揭示的不仅是病理AI临床转化中亟待填补的证据缺口，更提示了一个可能被低估的科研方向：借鉴药物和医疗器械的临床研究思路，对已有病理AI算法开展独立多中心验证、人机协作试验、前瞻性临床研究及真实世界评价。 当模型研发越来越快，如何证明AI真正具有临床价值，或许才是下一阶段更值得投入的研究问题。 一、病理AI模型研发很快，但临床验证还没有跟上在此前的推文中，我们曾讨论过病理AI领域一个值得关注的现象：算法研发的速度，正在明显快于临床验证的速度。过去几年，病理AI从针对单一任务的深度学习模型，快速发展到病理基础模型、多模态模型和视觉语言模型，研究范围也从肿瘤检测扩展至分子特征预测、治疗反应评估和患者预后分层。然而，大量研究仍然停留在回顾性数据集上，通过内部验证和独立测试集报告AUC、准确率等指标。即使完成了多中心外部验证，这些研究往往也只能回答模型能否在不同数据集上完成预测，却很少进一步验证：AI能否改善病理医生的诊断质量、提高工作效率，甚至最终影响患者的临床结局？那么，对于已经获得监管批准、进入商业化阶段的病理AI产品，临床验证是否已经足够充分？今日npj Digital Medicine 发表了一篇题为Availability of performance evidence of approved AI diagnostic software in pathology and hematology morphology的研究。研究团队没有开发新的AI模型，而是系统调查了已获得监管授权的病理及血液形态学AI诊断软件，分析这些产品的公开性能验证证据及其研究质量。这篇文章的意义，不在于证明某种AI算法有多强，而是将关注点转向了整个病理AI行业的临床证据基础。 二、77款获批AI产品，只有39%能够找到公开验证证据研究团队通过美国FDA数据库、欧洲医疗器械数据库EUDAMED、学术文献及企业公开资料等渠道，最终纳入29家制造商的77款AI诊断软件，包括68款数字病理产品和9款血液形态学产品。所有产品均具有欧盟CE相关市场准入资格，其中8款同时获得美国FDA授权。研究最引人关注的发现是：77款获批产品中，仅有30款（39%）能够找到公开的、针对具体产品的性能验证证据，其余47款（61%）未检索到符合研究要求的公开证据。在具有公开证据的30款产品中，25款有经过同行评议的期刊论文，3款仅有会议摘要，另外2款分别通过预印本和监管文件提供性能数据。同时获得欧美授权的8款产品全部具有公开证据，而仅获得欧盟市场准入的69款产品中，只有22款（32%）具有公开证据。需要特别强调，没有找到公开验证证据，并不等于产品没有经过验证，更不能直接认为这些产品不安全或者无效。 监管审批可能涉及企业提交的内部验证报告及其他未公开资料。因此，这篇研究直接揭示的是公开证据透明度不足，而非61%的产品缺乏任何验证。但这种证据缺口仍然值得重视。对于准备采购和使用AI产品的医院而言，如果缺少公开、充分的临床验证资料，就很难独立判断其在不同患者群体、扫描设备、染色条件和临床工作流程中的实际表现。监管批准是临床应用的重要门槛，但不应成为临床证据积累的终点。 三、即使有公开验证，现有研究的质量也值得讨论除了公开证据不足，研究还发现，现有验证研究在样本规模、研究设计和评价指标方面存在明显差异。在28款能够提取验证样本量的产品中，研究样本量中位数仅为211，15项研究的规模不足300。需要注意，这些研究的计数单位并不一致，包括患者、切片及标本等，不能直接理解为相同数量的独立患者。30款具有公开证据的产品中，有25款的相关研究主要采用回顾性设计，前瞻性和多中心研究相对有限。另一个问题是性能评价标准不统一。研究在30款产品的公开证据中归纳出15种不同的主要评价指标，包括诊断区分能力、一致性、相关性和预后评价等。即使是相似的临床任务，不同研究也可能采用不同的主要终点、参考标准和评价方法，使得产品之间难以直接比较。更值得注意的是，在10款报告敏感性的产品中，有6款没有同时报告特异性。如果研究仅强调减少漏诊，却不充分报告假阳性及其潜在影响，临床医生就难以全面评价AI的实际价值。这些发现提示我们，病理AI的临床验证不应只是寻找一个新的测试集、重新计算AUC或准确率，而应围绕真实临床用途，设计具有明确临床意义的研究终点，并完整评价其性能、局限性及潜在风险。 四、真正重要的问题：加入AI以后，病理医生是否做得更好？在30款具有公开证据的产品中，有8款开展了某种形式的AI辅助与非AI辅助比较，但只有5款报告了同一批病理医生在有无AI辅助条件下、可以直接配对比较的诊断准确性或一致性数据。这些研究覆盖乳腺癌淋巴结转移检测、前列腺癌诊断、PD-L1评分、HER2评分和Gleason分级等任务。例如，在前列腺癌穿刺活检的肿瘤检测中，AI辅助使病理医生的敏感性从88.7%提高至96.6%；在非小细胞肺癌PD-L1评分中，病理医生之间的TPS一致性从81.4%提高至90.2%。乳腺癌淋巴结转移检测的敏感性也由81%提高至93%，但总体阅片者层面的改善没有达到统计学显著性。虽然这些研究的设计和评价终点不同，不能直接进行产品间比较，但它们体现了临床验证中一个重要的研究思路转变：评价对象不再只是AI模型，而是“病理医生使用AI以后”的整个诊断过程。一个AI模型即使具有很高的独立诊断准确率，也不意味着它一定能够提高医生的诊断质量。医生可能忽略AI的提示，也可能由于过度信任而接受错误建议；模型可能减少阅片时间，却增加不必要的复核工作。因此，AI的真正临床价值，不仅取决于算法自身的性能，还需要研究人机协作是否改善诊断准确性、工作效率，以及最终的临床决策。对于一些技术已经相对成熟的病理AI任务，与其继续将AUC提高零点零几，或许更值得投入的研究是：通过严谨的临床验证，证明AI究竟能够给病理医生和患者带来什么实际收益。 五、如果把病理AI视为医疗器械，能否借鉴药物临床研究的思路？这项调研也引出了一个更值得思考的问题：为什么一种新药进入临床通常需要系统的临床研究证据，而对于可能影响诊断和治疗决策的AI算法，我们却常常满足于几项回顾性验证结果？药物研发通常经历从早期临床探索、确证性试验到上市后真实世界研究的持续证据积累过程。不同阶段回答不同的科学问题，最终建立对药物疗效、安全性和适用人群的系统认识。病理AI当然不能简单照搬药物的Ⅰ、Ⅱ、Ⅲ、Ⅳ期临床试验制度。AI软件的风险特征、使用方式和监管要求与药物不同，而且不同临床用途的AI产品，所需证据的强度也应有所区别。但药物临床研究有一个值得借鉴的核心思想：一种医疗技术是否值得临床应用，不应仅由其技术性能决定，而需要通过不同层次的临床研究持续建立证据。沿着这一思路，病理AI同样可以形成更加系统的临床验证体系。在早期，通过独立的多中心研究，验证模型在不同医院、扫描仪、染色条件及患者群体中的表现，明确其适用范围与潜在风险。随后，通过多阅片者、多病例的人机协作研究，比较病理医生在有无AI辅助时的诊断质量和工作效率。对于可能影响重要临床决策的AI产品，还可以开展前瞻性研究，必要时采用随机对照或其他适当的比较研究设计，评价AI引入临床流程后的实际收益。产品投入使用后，则可以进一步开展真实世界研究，持续观察算法在不同应用环境中的稳定性，以及软件更新可能带来的性能变化。近年来，国际医学界也陆续发布了TRIPOD+AI、STARD-AI、DECIDE-AI及CONSORT-AI等研究报告指南，为不同类型的医疗AI研究提供规范化指导。这些进展说明，医疗AI正在从单纯的算法性能评价，逐渐走向更加系统的临床证据评价。 六、临床验证可能成为病理AI领域被低估的科研方向从科研角度来看，这篇文章还提示了一个重要机会：病理AI的临床验证本身，就可以成为具有独立科学价值的研究方向，而不一定需要开发新的AI模型。过去，病理AI研究往往以算法创新为主要驱动力，研究者需要提出新的网络结构、改进模型性能或构建新的基础模型。但如果将AI视为真正准备应用于临床的医疗器械，那么针对成熟算法甚至已经获批产品开展规范的临床研究，同样可以回答具有重要价值的科学问题。首先是跨中心、跨设备的独立临床验证。 病理AI受到染色、扫描仪、图像质量及患者群体差异等因素的影响。针对成熟AI产品开展独立多中心验证，不仅可以评价其泛化能力，还可以研究哪些因素导致性能下降，明确算法的临床适用边界。这类研究的价值不是再次证明模型具有多高的AUC，而是回答它在什么条件下可以可靠使用、在哪些条件下可能出现错误。其次是不同AI产品之间的比较效能研究。 随着越来越多商业化产品进入市场，医院可能面临多个具有相似功能的AI软件选择。例如，前列腺癌辅助诊断、淋巴结转移检测和PD-L1定量等任务，都可能存在不同厂商的产品。未来可以借鉴临床医学中的头对头比较研究，在统一的多中心队列和评价体系下，比较不同产品的诊断性能、错误模式、工作效率及应用成本，为临床采购和产品选择提供独立证据。第三是AI辅助诊断的前瞻性临床研究。 例如，在淋巴结微转移检测中，研究AI能否减少漏诊，同时避免增加过多不必要的复核；在HER2和PD-L1评分中，研究AI是否能够提高医生之间的一致性，尤其是对于影响治疗决策的临界评分病例。而对于预后和治疗反应预测模型，仅仅证明预测结果与临床结局相关还不够，如果希望用于指导治疗决策，就需要进一步研究AI参与决策是否能够带来实际临床获益。第四是真实世界环境下的长期评价。 AI产品在进入临床后，可能因为扫描设备更新、染色流程调整或软件版本迭代而出现性能变化。真实世界研究可以持续观察算法稳定性、不同医院之间的性能差异，以及病理医生对AI的使用行为。例如，医生是否会对AI形成过度依赖？哪些错误容易被发现，哪些可能被放大？这些问题都直接关系到AI能否长期、安全地应用于临床。当然，并非所有AI产品都需要开展大规模随机对照试验。临床验证的设计和证据强度，应当根据AI的预期用途、风险程度和临床影响来确定。但重要的是，这些研究可以独立于算法开发而存在，其科学创新可以来自临床问题、研究设计、评价方法以及新发现的临床证据，而不一定来自模型结构本身。对于拥有丰富病例资源和临床研究经验，但不一定具备大型AI模型研发能力的病理科团队而言，这尤其值得关注。通过与AI企业和算法研发团队合作，临床机构完全有机会主导高质量的AI临床验证研究。 七、从模型研发走向临床验证：病理AI值得关注的发展与科研方向回到这篇研究，它揭示的不仅是获批病理AI产品公开验证证据不足的问题，更反映了整个领域从算法研发走向临床应用时面临的挑战。今天，病理AI已经拥有越来越多性能优秀的模型，也有更多产品获得监管批准。但是，从算法性能到临床可用性，从监管授权到临床有效性，再到长期真实世界应用，其间仍然存在明显的证据缺口。填补这一缺口，需要算法研发者、临床医生、医疗机构及监管部门共同参与。对于AI研发团队而言，除了持续改进模型性能，还需要更加重视模型的临床适用性和验证证据。对于医院而言，独立验证、产品比较和真实世界评价，也将成为病理AI临床应用的重要研究内容。而对于科研人员，尤其是拥有丰富临床资源和研究经验的病理医生，这也意味着一个值得关注的科研方向。过去几年，我们不断追问如何开发出更强的病理AI模型。未来，随着越来越多成熟算法和商业化产品出现，我们还需要回答另一个同样重要的问题：如何通过严谨的临床研究，证明这些AI模型真正值得被使用？病理AI领域的发展不仅需要更先进的基础模型和多模态算法，也需要更多高质量的多中心验证、人机协作研究、前瞻性临床试验和真实世界研究。临床验证不应只是算法研发的最后一个实验环节，而应该成为病理AI领域一条独立、系统且具有长期价值的科研方向。 本文章转载自微信公众号：AI病理视界

近年来，虚拟细胞（Virtual Cell）成为人工智能与生命科学交叉领域的热门方向。其中一项颇具吸引力的能力，就是通过计算模拟基因敲除、激活或药物干预，预测细胞可能发生的分子变化，也就是所谓的虚拟扰动。那么，如果把研究对象从单个细胞扩展到完整的组织，甚至进一步要求模型只使用常规H&E病理图像，能否实现类似的虚拟扰动？中国医学科学院肿瘤医院等机构的研究团队在Genome Medicine发表了一项研究，提出了名为Coladan的多模态病理AI框架。该模型不仅能够从H&E图像预测空间基因表达，还尝试模拟特定基因上调或下调后，整个组织不同位置可能发生的分子表达变化。这一设想很有吸引力，也带来了一个值得认真讨论的问题：模型究竟是在学习基因干预的生物学效应，还是将已有的基因表达预测能力包装成了一种新的“虚拟扰动”？ 一、从虚拟细胞到虚拟组织，究竟多了什么？理解这项研究，首先需要区分虚拟细胞扰动和虚拟组织扰动。目前较常见的虚拟细胞扰动方法，例如scGPT、GEARS等相关研究中的模型，主要基于单细胞转录组数据进行建模。模型学习细胞在不同状态下的基因表达规律，并尝试预测当某个基因被敲除或激活后，其他基因会发生怎样的变化。例如，给定一种细胞的初始表达状态，模拟敲低某个关键转录因子，模型可以预测哪些下游基因可能上调、哪些可能下调。但真实组织远比单个细胞复杂。同一种基因干预，发生在肿瘤上皮细胞、成纤维细胞或免疫细胞中，可能产生完全不同的反应。更重要的是，组织中的细胞并非孤立存在，局部结构、细胞组成和微环境相互作用，都可能影响干预结果。因此，虚拟组织扰动的吸引力，在于它不仅希望回答“某种细胞会发生什么变化”，还希望进一步回答：同一基因干预发生后，组织中哪些位置可能产生反应，不同组织区域的反应又有什么差异？Coladan试图通过病理图像提供这种空间背景。不过，这里需要澄清一下，它所谓“基于图像的虚拟扰动”，并不是直接修改病理图像，更不是生成基因敲除后的新H&E切片。它的实际过程，是先通过H&E图像推断组织不同位置的分子表达状态，再利用基因表达模型模拟干预，并把预测的表达变化映射回原始组织的空间位置。换句话说，这项研究实现的是病理图像条件下的空间分子虚拟扰动，而不是组织形态本身的虚拟改变。 二、Coladan如何从H&E图像推断组织的分子状态？要实现这样的目标，首先需要一个足够可靠的图像到基因表达预测模型。研究团队整理了Coladan-human3K数据资源，包含约3000份人类空间转录组样本，涉及乳腺、脑、前列腺、肺、结肠等多种组织，覆盖Visium、Xenium、VisiumHD等不同空间组学技术。其中约75%的样本包含配对的H&E图像。在模型结构上，Coladan结合了病理视觉基础模型GigaPath、单细胞转录组基础模型scGPT，以及MedGemma语言模型，构建了一套图像、语言与空间基因表达相结合的框架。其核心思路并不难理解。首先，模型将整张H&E切片划分成一系列空间位置，并提取每个位置周围224×224像素的图像区域。随后利用GigaPath提取局部病理特征，再通过全切片编码器整合其他位置的信息，让每个区域的特征不仅包含局部细胞形态，也能够反映整体组织背景。接下来，模型把这种融合空间信息的图像特征转换为一个512维的CLS表征，输入经过改造的scGPT基因解码器，预测该位置的基因表达。这里的CLS可以理解为对某个组织位置分子状态的一种压缩表示。模型希望通过这样一个低维表征，恢复大量基因的表达信息。为了提高预测能力，研究还引入了混合专家模型（MoE）和Coconut迭代解码机制。后者允许模型多轮更新内部特征，并利用相对可信的表达预测帮助调整后续结果。在模型训练中，Coladan并不是直接将H&E图像输入网络，然后训练模型预测空间基因表达，而是采用了三个连续的训练步骤，逐步建立基因表达、病理图像与分子状态表征之间的联系。第一阶段（Stage 1）：让基因模型学会通过CLS表征重建基因表达。这一阶段完全不使用病理图像。作者首先基于scGPT构建基因解码器，利用真实空间转录组数据训练模型，将一个组织位置包含的大量基因表达信息压缩为一个512维的CLS表征，再通过这个表征重建原始基因表达。训练时，模型先学习恢复部分被遮蔽的基因表达，随后进一步学习在所有基因表达值都被遮蔽的情况下，仅依靠CLS表征和基因身份信息恢复表达谱。通过这样的训练，CLS成为一个能够代表局部组织分子状态的压缩特征，而基因解码器则学会了如何从这一特征恢复具体基因的表达。第二阶段（Stage 2.1）：让病理图像学会生成对应的分子状态表征。在基因解码器训练完成后，作者开始引入配对的H&E图像。首先利用GigaPath提取图像特征，并结合全切片空间上下文生成局部组织表征，再通过一个投影网络将其转换为512维的CLS特征。与此同时，利用第一阶段训练好的基因模型，从同一组织位置真实测量的空间转录组数据中提取另一个CLS表征。模型通过最小化两者的差异，让图像生成的CLS逐渐接近真实基因表达对应的CLS。这一阶段冻结图像编码器和基因解码器，只训练中间的投影网络。其目的不是直接预测基因表达，而是先建立病理图像特征与分子状态表征之间的对应关系。第三阶段（Stage 2.2）：联合训练完整的图像到基因表达预测模型。完成前两个阶段后，作者解冻图像编码器、投影网络和基因解码器，进行端到端联合训练。此时模型直接以H&E图像作为输入，经过图像编码和CLS转换后，由基因解码器输出空间基因表达，并利用真实测量的空间转录组数据计算预测误差，进一步优化整个网络。这一阶段还加入了MedGemma语言模型生成的样本描述特征，通过对齐全切片图像表征和语言表征，增强模型的多模态学习能力。需要注意的是，MedGemma本身保持冻结，语言分支主要承担辅助表征对齐的作用，而不是直接参与每个空间位置的基因表达解码。经过上述三个步骤，Coladan最终建立了一条完整的预测路径：从H&E图像提取组织特征，将其转换为代表局部分子状态的CLS表征，再由基因解码器生成该位置的基因表达谱。这种分阶段训练设计的关键，在于先让模型学会如何表示和重建基因表达，再让病理图像进入同一个分子表征空间。因此，模型在推理时不再需要真实测量的空间转录组数据，也为后续仅凭图像开展虚拟基因扰动提供了基础。 经过这样的训练，模型在推理阶段不再需要输入实际测量的空间转录组数据，仅使用H&E图像，就可以生成对应的空间基因表达图。 三、首先要确认：Coladan的空间表达预测是否足够准确？这是评估后续虚拟扰动能力的基础。作者在32张独立Visium切片上评估了模型性能，并与TITAN、UNI2、CONCH、GigaPath、BLEEP、HisToGene等多种模型和方法进行了比较。结果显示，Coladan的平均空间位置级Pearson相关系数达到0.431，而表现最好的对照方法HisToGene为0.230，提升约1.9倍。Spearman相关系数达到0.295，也优于最佳对照方法的0.181。这些结果说明，结合全切片空间上下文与预训练基因表达模型，确实能够明显提高H&E到空间转录组的预测性能。此外，作者还在VisiumHD和Xenium数据上进行了跨平台测试。Coladan在18张VisiumHD切片上的平均Pearson相关系数达到0.338，并在11张Xenium切片的处理后空间位置级评估中取得了优于对照模型的结果。但也需要注意，Xenium评估使用的是汇总后的空间位置数据，而不是直接对原始单细胞边界进行逐细胞预测。研究还加入了基因表达不确定性估计，并尝试优先使用预测相对可靠的基因和组织区域。总体而言，Coladan作为一个从常规H&E图像预测空间基因表达的模型，是有比较充分的技术创新和定量评估支持的。当然，0.431的相关系数并不意味着可以准确恢复所有基因的表达水平。研究中的基因级评估也采用了针对非零表达位置的分析策略，其结果不能直接理解为模型对所有基因、所有组织位置都具有同等预测能力。但至少可以认为，作者为进一步开展虚拟扰动，建立了一个具有一定准确性的分子状态预测基础。 四、最有意思的部分：虚拟组织扰动究竟如何实现？理解了前面的模型结构，Coladan的虚拟扰动方法其实就变得相当直观了。正常情况下，模型通过H&E图像生成某个组织位置的CLS表征，再由基因解码器预测该位置各个基因的表达。而在虚拟扰动时，作者保留这个由图像得到的CLS表征不变，同时人为指定某个基因处于高表达或低表达状态，再让基因解码器重新预测其他基因的表达。 具体而言，模型将目标基因的表达输入设置为离散表达编码中的最低档“0”或最高档“50”，其他基因的表达输入则保持遮蔽状态。随后，模型根据当前组织位置的CLS表征、指定的基因表达状态以及训练过程中学习到的基因关联规律，重新生成表达谱。最后，将扰动后的预测结果与未扰动的基线预测结果进行比较，就可以计算出每个组织位置、每个基因的预测表达变化。例如，如果我们希望模拟FOXA1表达升高之后，KLK2在前列腺组织中的变化，模型可以分别计算干预前后的KLK2预测表达，再将两者的差异绘制在原始H&E切片对应的位置上。研究还允许同时指定多个基因，从而模拟组合扰动。这里的技术设计有两个值得关注的地方。首先，模型在实际推理时不需要测量组织的基线转录组。传统虚拟细胞扰动往往依赖未干预细胞的表达状态，而Coladan试图通过图像直接提供这种条件信息。其次，组织不同位置具有不同的CLS表征，即使施加相同的基因扰动条件，也可能得到不同的预测结果。这使模型能够输出具有空间异质性的扰动图，而不是一个组织整体的平均变化值。不过，整个过程中并没有真正模拟基因编辑后的细胞形态改变，也没有显式模拟干预后细胞之间相互作用的动态过程。模型实际上是在回答：在当前图像所代表的组织状态下，如果给定一个人为设定的基因表达条件，网络会预测出怎样的其他基因表达？这种计算结果可以称为一种反事实预测，但能否解释为真实生物学干预后的因果效应，需要另外验证。 五、那么，这些虚拟扰动预测真的有效吗？作者进行了两类实验，但它们回答的是不同的问题。第一类：使用真实Perturb-seq数据，检验模型能否预测基因干预后的表达变化。研究采用了Adamson、Norman和Replogle三个扰动数据资源，共涉及4820个扰动条件或条件级样本。作者比较了scGPT、GEARS、线性模型和Coladan在预测基因表达变化方面的性能，同时测试了Coladan的两种设置：一种是在训练中加入扰动监督的多任务模型，另一种是不使用扰动监督的零样本模型。在多任务设置下，Coladan取得了与微调scGPT相近的性能，并超过GEARS和线性模型。例如，在Adamson数据上，其表达变化预测的Pearson相关系数约为0.63，在Norman数据上约为0.57，在Replogle数据上约为0.24。这说明，基于CLS表征的基因解码器确实可以学习一定程度的扰动响应，而不只是简单重建原始表达谱。但必须强调一个容易被忽略的细节：在这些具有真实扰动结果的定量测试中，Coladan使用的CLS表征来自未扰动的真实基因表达数据，并不是来自H&E图像。因为这些Perturb-seq资源并不包含相应的病理组织图像，作者无法在这一阶段验证从图像出发的完整扰动预测链条。此外，不经过扰动监督的零样本版本，虽然也得到非零的相关性，但性能明显较弱。例如在Replogle数据中，相关系数只有约0.05。这意味着模型在学习普通表达关系的过程中，可能获得一些与扰动响应相关的信息，但这些信息本身并不足以保证准确预测基因干预后的变化。 第二类：直接在H&E图像上应用虚拟扰动，观察能否得到具有生物学意义的空间结果。作者使用正常前列腺与前列腺癌的Visium切片，针对AR、ERG、FOXA1、PTEN等关键基因开展虚拟干预。例如，在正常前列腺组织中，模拟ERG下调后，模型预测KLK3的表达变化具有一定的组织区域差异；在前列腺癌组织中，模拟FOXA1上调后，模型预测KLK2在肿瘤富集区域及其他组织区域出现不同程度的响应。在组合扰动实验中，AR–ERG和AR–FOXA1相关的预测变化也呈现出一定的空间结构，与既往研究中涉及的前列腺分化、上皮连接及间质相关分子通路具有一定的一致性。作者还增加了管家基因对照和匹配背景基因的统计分析，以排除部分随机或非特异性空间变化的解释。这些实验说明，模型能够生成在组织结构上具有差异、且部分符合已知生物学规律的表达变化图。但是，这些并不是经过真实基因干预验证的空间表达变化。作者并没有在相应的前列腺组织中真正敲除ERG或上调FOXA1，然后测量干预后的空间转录组，再与模型预测进行直接比较。因此，目前结果能够支持的是预测结果的生物学合理性，而不能证明模型已经准确掌握了组织尺度上的基因扰动效应。 六、虚拟组织扰动最大的难点，可能并不在于模型架构从方法上看，Coladan的虚拟扰动设计是合理的：先利用病理图像估计组织分子状态，再在此基础上生成指定基因变化后的表达预测。但是，如果进一步追问它是否真正理解了基因干预的生物学后果，就会发现几个尚未解决的问题。首先，基因表达之间存在相关性，并不代表它们之间存在直接的因果关系。例如，在前列腺癌中，FOXA1与KLK2的表达可能由于共同的细胞分化状态而呈现关联。一个学习到这种关系的模型，即使没有掌握FOXA1对KLK2的真实调控机制，也可能在设置FOXA1高表达时预测KLK2随之升高。这类结果可能符合既有生物学知识，但仅凭它还不能确认模型预测的是干预效应，而不是已知表达关联的延伸。其次，从单细胞尺度扩展到组织尺度，并不只是增加空间坐标这么简单。在真实组织中，一个基因的改变可能首先影响某类细胞，再通过细胞间信号作用于周围细胞。例如，肿瘤细胞中的某种基因干预可能改变细胞因子的分泌，进而影响周围免疫细胞和间质细胞。Coladan能够根据不同组织位置的图像表征输出不同的响应，但并没有证明它能够准确预测这种跨细胞类型的间接干预效应。还有一个值得讨论的地方：研究采用的高低表达条件属于离散表达状态的极端设置，并不等同于具有明确干预效率的CRISPR敲除、基因过表达实验或某种药物剂量。因此，模型预测的表达变化既不能直接当作实际干预效应的大小，也不能简单用于评估药物作用强度。此外，尽管作者引入了表达预测的不确定性估计，但对静态基因表达预测的置信度较高，并不意味着相应的虚拟扰动结果同样可靠。干预条件下的预测涉及额外的分布变化，其不确定性还需要独立评估。这些问题都指向同一个核心：从静态分子状态预测到干预后的动态响应预测，中间存在一个不能仅靠模型复杂度解决的因果验证缺口。 七、它究竟是一个新概念，还是值得使用的新工具？Coladan并不是简单将已有方法换一个名字。其价值首先体现在将病理图像、全切片空间上下文和基因表达解码结合起来，使得不依赖实际空间转录组测量的分子状态推断成为可能。在此基础上，研究进一步提供了一个面向组织空间位置的基因干预模拟接口，让研究人员可以针对指定的组织区域、候选基因以及下游分子通路，生成具有空间信息的探索性预测。这与传统只基于单细胞表达数据进行扰动预测的方法，确实存在应用场景上的差异。不过，如果将虚拟组织扰动理解为能够可靠预测组织在基因编辑或药物干预后的真实反应，那么现有证据还远远不够。这项研究当前最有实际价值的方向，可能是帮助研究人员缩小候选基因和组织区域的范围。例如，在一张肿瘤切片上，研究者可以针对某个候选驱动基因生成空间扰动预测，观察哪些组织区域和下游分子通路可能产生较明显的响应，再将这些结果与已知的基因调控网络、空间组学数据或体外实验进行交叉验证。这样的工具并不需要在一开始就完全准确，但它至少应当能够比简单的基因共表达分析或细胞类型分层方法，更有效地筛选出具有后续实验价值的假设。然而，这一增量价值在目前的研究中尚未得到充分证明。未来真正重要的验证，应当是在能够进行基因编辑并获得配对空间分子读数的组织模型中，比较真实干预前后的变化和模型预测的变化。同时，还需要设置基于细胞类型、基线表达和基因共表达网络的简单对照方法，以确认复杂的图像条件模型究竟带来了多少额外收益。如果它能够在未见过的组织、基因和干预条件下，准确预测哪些位置受到影响、哪些下游通路发生改变，甚至哪些细胞群会产生间接响应，那么虚拟组织扰动才真正有希望成为一个具有独立科研价值的工具。 八、从病理图像预测分子状态，到模拟生物学干预，还有多远？回到这篇文章最初提出的设想：仅仅通过一张常规H&E切片，能不能推演基因干预后组织将发生什么变化？Coladan提供了一个值得关注的技术方向，但目前还没有给出充分的实验验证。它所展示的是，模型能够利用病理图像推断的空间分子特征，生成特定基因表达条件下的组织空间预测图，而这些结果中的一部分与已知生物学规律相符。但这与真正预测基因干预后的组织响应，仍然是两个不同层次的能力。对于病理AI领域而言，这项研究的启发也许并不只是多了一个“虚拟组织扰动”的概念，而是提示了一个值得继续探索的方向：当病理基础模型开始具备分子状态预测能力后，能否进一步从描述组织当前的状态，走向预测组织在特定干预条件下可能发生的变化？如果这一能力能够通过严格的实验验证，它可能为病理AI连接功能基因组学、肿瘤微环境研究及药物作用机制探索提供新的工具。但在那之前，我们仍然需要明确区分：模型生成了一张看起来合理的空间扰动图，和模型真正预测了生物学干预的结果，并不是一回事。 本文章转载自微信公众号：AI病理视界 

同一个临床研究课题，可以有多少种AI解法？近期，来自上海交通大学医学院附属瑞金医院等机构的研究团队，在npj Precision Oncology和Advanced Science相继发表了两篇研究，针对肝细胞癌中的同一个病理指标VETC，提出了两种不同的建模策略。两篇论文不仅研究对象高度相似，而且都使用了MRI和数字病理图像，但对于如何利用这两种模态，却给出了不同的答案。第一篇研究采用传统的多模态融合路线，将MRI、H&E病理图像和临床指标结合，提高VETC预测性能。第二篇则更有意思：利用病理基础模型提取的组织形态和血管结构特征指导MRI模型学习，使模型最终仅凭术前MRI，就能预测原本需要术后病理检查才能确定的VETC指标。这种方法借鉴了视觉语言模型中的跨模态对齐思想，但对齐的不是图像与文本，而是MRI与病理图像。它让病理基础模型成为影像AI的“老师”，也为利用病理知识训练其他医学AI模型提供了新的思路。本期AI病理文摘，我们将这两篇论文放在一起，从模型架构、跨模态学习策略、预测性能及消融实验等方面进行对比，重点讨论第二篇研究如何借助病理基础模型实现影像与病理的表征对齐，以及这种方法相对于传统多模态融合的实际价值与局限。更进一步，我们也希望借此探讨：病理AI的作用，是否可以从直接分析病理切片，延伸到利用病理知识训练其他模态的AI模型？ 一、同一个研究课题：术前预测肝癌的VETC病理表型两篇论文关注的都是肝细胞癌中的VETC（vessels encapsulating tumor clusters，血管包绕肿瘤细胞簇）。这是一种特殊的肿瘤血管结构模式，表现为血管围绕并包裹成簇的肿瘤细胞，形成类似网络的结构。VETC可能促进肿瘤细胞以集体形式进入血液循环并发生播散，与肝细胞癌较强的侵袭性、较高的复发风险和不良预后相关。从病理学角度看，VETC是一个反映血管与肿瘤细胞簇空间关系的组织学指标。虽然H&E染色可以观察肿瘤组织结构，但准确评价VETC通常需要借助CD34免疫组化染色。两篇研究均以CD34免疫组化作为VETC的病理判定依据，将VETC比例达到5%的肿瘤定义为阳性。这一指标的临床意义与检测方式之间存在矛盾：VETC可能有助于识别高侵袭性的肿瘤，但其判定通常依赖术后病理标本。如果能够通过术前MRI预测VETC，就有机会提前识别具有侵袭性血管表型的患者，为术前风险评估提供参考。围绕这个共同目标，两篇论文分别提出了MAVEN和PIVOT两种解决方案。 二、第一种解法：MAVEN，将影像、病理和临床信息融合第一篇研究发表于npj Precision Oncology，题为MAVEN: an automated multimodal framework for predicting VETC and early recurrence in HCC。研究共纳入5家医疗机构的1928例肝细胞癌患者，包括798例训练患者、343例内部测试患者以及787例外部测试患者。MAVEN采用了相对成熟的多模态建模策略：分别利用MRI和H&E病理图像建立VETC预测模型，再与临床指标融合，得到最终预测结果。1. MRI与病理分别建模，再进行后期融合在MRI分支，研究首先利用3D nnU-Net完成肝脏及肿瘤自动分割，再从T1WI、T2WI、DWI以及三个增强扫描时相中提取代表性二维图像。随后使用ResNet101、ResNeXt101和DenseNet121组成卷积神经网络集成模型，提取不同MRI序列的预测信息，并整合为MRI预测评分。病理分支则采用典型的弱监督多实例学习方法。研究将H&E全切片图像切分为256×256像素的图像块，使用ResNet50提取特征，再通过CLAM模型进行注意力聚合，输出病理图像的VETC预测评分。值得注意的是，病理分支使用的是常规H&E图像，CD34免疫组化主要用于提供VETC的参考标签，而不是最终预测模型的输入。完成两个分支的训练后，研究人员将MRI评分、H&E病理评分与甲胎蛋白（AFP）进行整合，建立完整的MAVEN模型。因此，该研究实际上采用的是预测评分层面的后期融合（late fusion），而不是在特征提取阶段直接进行MRI与病理的跨模态交互。2. 多模态融合显著提高了预测性能在内部测试队列中，单独使用MRI的模型AUC为0.762，而H&E病理模型达到0.848。将两种模态融合后，AUC进一步提高至0.923；加入AFP后，完整MAVEN模型的AUC达到0.932。在4个外部测试队列中，MAVEN的AUC介于0.879至0.891之间，整体表现较为稳定。研究还发现，MAVEN预测评分能够对患者的术后早期无复发生存进行风险分层，说明影像与病理信息的融合不仅有助于VETC分类，也具有一定的预后预测价值。这些结果证明，MRI与病理图像能够提供互补的预测信息。不过，MAVEN也存在一个临床应用上的限制：完整模型需要输入术后切除标本的H&E病理图像，因此更适合术后评估，而无法直接用于尚未获得病理标本的术前患者。如果研究目标是提前预测VETC，那么能否在训练过程中利用病理信息，却在最终预测时摆脱对病理图像的依赖？这正是第二篇研究尝试解决的问题。  三、第二种解法：PIVOT，让病理基础模型指导MRI学习第二篇研究发表于Advanced Science，题为Foundation Model-Enabled Pathology-Informed MRI Model for Preoperative Prediction of Vessels Encapsulating Tumor Clusters in Resectable Hepatocellular Carcinoma: A Multicenter Retrospective Study。研究纳入来自5个中心的2052例肝细胞癌患者，包括869例训练患者、374例内部测试患者及809例外部验证患者。与MAVEN不同，PIVOT的目标并不是让MRI与病理共同完成最终预测，而是利用病理图像在训练阶段提供额外的监督信息，使MRI模型学习与VETC相关的组织学表征，最终仅使用术前MRI预测VETC。整个方法可以分为三个主要步骤。1. 利用病理基础模型建立两个“教师”分支研究人员分别针对H&E和CD34免疫组化图像建立病理模型，均使用Prov-GigaPath作为基础模型。Prov-GigaPath首先提取病理图像块的特征，再结合图像块空间位置信息形成整张切片的表征。研究进一步通过注意力聚合，将同一患者多张切片的特征汇总为患者级嵌入。其中，H&E分支主要提供肿瘤组织形态和微环境信息，CD34分支则着重提供血管结构相关信息。两个病理模型首先使用VETC标签进行弱监督微调，然后冻结参数，作为后续MRI训练的参考目标。因此，这些病理嵌入并不是完全独立于预测任务的通用特征，而是已经包含VETC相关信息的病理表征。2. 利用MRI基础模型提取影像特征与MAVEN采用二维卷积神经网络不同，PIVOT使用预训练的三维MRI基础模型Triad-SwinB作为影像编码器，分别处理6个MRI序列，并通过Transformer整合不同序列的特征。模型还引入一个可学习的VETC分类Token，在与多序列MRI特征交互后，形成用于VETC分类的患者级影像表征。研究人员进一步将这个分类Token投影到不同的特征空间，使其能够分别接受H&E形态学表征和CD34血管学表征的指导。3. 将MRI与病理特征进行跨模态对齐这是PIVOT最值得关注的方法学设计。研究将同一患者的MRI与病理图像配对，分别提取影像和病理特征，再利用余弦相似度构建对齐损失，使MRI模型输出的表征尽可能接近对应患者的H&E和CD34病理表征。换句话说，MRI模型不仅需要根据影像预测VETC，还需要同时学习接近病理模型提取的组织形态和血管结构特征。研究对CD34血管学对齐设置了更高的损失权重，因为VETC本身就是由CD34染色所呈现的血管组织结构定义的。模型采用分阶段训练：首先训练并固定两个病理教师模型，然后进行MRI与病理的表征对齐预热，最后联合优化VETC分类和两个病理对齐任务。训练完成后，病理教师模型及对齐分支均被移除，最终只保留MRI预测网络。因此，在新患者的术前评估中，模型无需H&E或CD34病理图像，即可输出VETC预测结果。4. 这与视觉语言模型有什么关系？PIVOT的这一设计，让人联想到近年来以CLIP为代表的视觉语言模型。CLIP通过跨模态表征学习，使相互匹配的图像与文本在特征空间中建立关联。PIVOT借鉴了类似的表征对齐思想，只是将原本的图像与文本换成了两种医学图像模态：MRI与病理图像。但需要强调，PIVOT并不是标准的CLIP模型。它没有采用典型的正负样本对比学习，而是使用同一患者的MRI与病理嵌入之间的余弦相似度约束。同时，病理模型已经经过VETC任务微调，因此整个设计也具有教师—学生学习和任务知识迁移的特点。此外，PIVOT并没有尝试从MRI生成虚拟H&E或CD34图像，也没有实现MRI与病理区域之间的精确空间配准。它学习的是患者级别、与VETC相关的跨模态表征，而不是直接重建微观血管结构。这一方法的意义在于，将病理信息从最终预测所必需的输入，转变成了训练影像模型时使用的辅助监督信号。 四、病理对齐真的有效吗？消融实验提供了关键证据PIVOT-MRI在内部测试队列中的AUC达到0.887，在4个外部验证队列中分别为0.861、0.858、0.839和0.852。进一步融合术前肿瘤大小和AFP后，PIVOT-Clinical的内部测试AUC提高至0.904，外部验证AUC介于0.851至0.884之间。不过，相比预测性能本身，我们认为消融实验更能说明病理对齐策略的价值。1. 去除病理对齐后，模型性能明显下降当研究人员同时移除H&E和CD34两个病理对齐分支，仅使用MRI进行VETC分类训练时，内部测试AUC从0.887下降至0.835，4个外部队列的平均AUC也从0.853下降至0.797。进一步分别移除两个对齐分支后发现，去除CD34血管学对齐时，内部AUC下降至0.858；而去除H&E形态学对齐时，AUC下降至0.879。这说明两个病理分支均提供了一定的额外监督信息，而与VETC病理定义更直接相关的CD34血管学表征，其贡献更加明显。2. 正确的MRI与病理配对同样重要研究还进行了一个很有意思的实验：故意打乱MRI与病理图像之间的患者配对关系。结果发现，错误配对使内部测试AUC下降至0.846，外部队列的平均AUC下降至0.810。在特征空间中，正确配对的MRI-H&E和MRI-CD34平均余弦相似度分别达到0.67和0.71，而随机错配时仅为0.32和0.34。这说明，对齐效果不仅来自额外的训练约束，正确的患者级影像—病理对应关系也是模型获得性能增益的重要因素。研究还在29例具有配对MRI和转录组数据的患者中进行了探索性分析，发现较高的PIVOT-MRI评分与血管生成、内皮细胞相关特征及细胞增殖等分子程序存在关联，为模型预测结果提供了初步生物学解释。综合这些结果，PIVOT的消融实验较好地支持了病理表征对齐的有效性，但尚不能证明模型已经准确恢复了VETC对应的微观血管结构。 五、一题两解：真正值得借鉴的是什么？将两篇研究放在一起，MAVEN的内部测试AUC为0.932，而PIVOT-Clinical为0.904，似乎前者具有更好的预测性能。但这种比较并不合理。两项研究虽然团队和部分参与中心高度重合，但患者队列、建模方式和输入数据不同，不能直接根据不同论文报告的AUC判断模型优劣。更重要的是，两者要解决的问题并不相同。MAVEN关注如何充分利用已经获得的多模态数据，而PIVOT关注如何将训练阶段的病理信息迁移给术前可用的影像模型。这种区别引出了几个值得进一步讨论的方法学问题。1. 多模态研究，不一定要求预测时拥有全部模态传统多模态融合通常希望获得尽可能完整的数据，以提高预测性能。但在真实临床场景中，影像、病理和分子检测往往并不在同一个时间点获得。特别是某些与治疗决策相关的病理指标，只有在手术之后才能确定。如果模型必须依赖术后病理图像，就难以真正用于术前预测。aPIVOT采用了另一种思路：开发阶段充分利用多模态数据，但将最终模型限制在目标临床时间点可获得的模态上。这种设计与机器学习中利用训练阶段额外信息增强模型、跨模态知识迁移等方向具有联系。PIVOT的特点在于，将这一思路应用到了一个具有明确组织学定义的病理指标，并利用H&E和CD34构建了两个具有不同生物学侧重点的监督目标。2. 跨模态对齐，不一定需要文本近年来，病理视觉语言模型通常通过H&E图像与文本描述之间的对齐，学习病理形态与医学概念的联系。但PIVOT提醒我们，跨模态对齐也可以发生在不同的医学图像之间。MRI、CT、超声、H&E、免疫组化等模态，实际上都在从不同尺度描述同一个疾病。只要存在合理的生物学关联和可靠的患者级对应关系，就有可能通过跨模态学习，让一个模态的表征为另一个模态提供辅助监督。对于病理AI而言，这意味着病理基础模型可能不再只是用于切片分类、分割或预后预测，也可以参与其他医学AI模型的训练。例如，可以尝试利用病理模型提取的肿瘤细胞形态、间质组成、免疫浸润和血管结构等表征，指导MRI或CT模型学习与这些病理表型相关的影像特征。不过，这种策略是否有效，仍然取决于目标病理特征与影像之间是否存在可学习的关联，并非所有微观病理指标都能够通过影像可靠预测。3. 病理教师提供的是新知识，还是更有效的任务监督？这是PIVOT在方法学上还有待进一步回答的问题。研究中，H&E和CD34病理教师模型都经过VETC标签微调，因此其输出的表征已经包含目标任务的监督信息。跨模态对齐带来的性能提升，可能既来自病理图像中的额外组织学信息，也来自病理模型对VETC分类任务的特征重组。因此，不能简单地认为MRI模型通过对齐自动获得了独立于VETC标签的新病理知识。未来可以进一步比较：直接使用VETC标签训练MRI模型、使用未经任务微调的病理基础模型进行对齐，以及使用经过VETC微调的病理模型进行对齐。这将有助于区分通用病理表征与任务特异性监督各自带来的贡献。此外，目前PIVOT实现的是患者级对齐，而不是不同肿瘤区域之间的精确空间对齐。未来如果能够结合空间配准、多区域病理取样等方法，进一步研究宏观影像特征与微观病理结构之间的具体关系，可能具有更大的方法学价值。 六、总结：从多模态融合，到利用病理知识训练其他AI模型这两篇研究的价值，并不在于哪一个模型的AUC更高，而是展示了两种不同的病理信息利用方式。MAVEN通过融合MRI、H&E和临床指标，提高VETC预测及术后风险分层性能；PIVOT则通过病理基础模型提供辅助监督，使MRI模型能够在不依赖病理图像的情况下预测VETC。后一种思路尤其值得病理AI研究者关注。它表明，病理图像除了作为独立的预测模态，还可以成为训练其他医学AI模型的知识来源。当然，PIVOT仍是一项多中心回顾性研究。模型能否在不同患者群体和实际术前决策场景中发挥作用，还需要前瞻性验证；其预测的VETC状态是否能进一步改善临床决策及患者结局，也有待更多研究证明。但从技术路线来看，这两篇针对同一个病理指标的研究，恰好反映了一个值得探索的方向：病理AI的价值，或许不仅在于让机器更好地理解病理切片，还在于如何让其他模态的AI模型从病理中学习。 本文章转载自微信公众号：AI病理视界 

一个能看图、能读病历、能聊医疗问题的多模态模型，塞进不到 3 个 G 的文件里，8GB 显存的 RTX 4060 就能本地跑起来。说实话，这个体积在这个能力面前，是有点反直觉的。点进去看了下，思路其实不复杂：基座是阿里通义 Qwen3-VL-4B，一个 40 亿参数级别的视觉语言模型，然后用 bitsandbytes 的 NF4 4bit 量化把权重压下来，启用了双重量化（double quantization），从原来大约 8GB 压到 2.87GB。文本解码器 36 层、hidden size 2560、32 个注意力头（8 个 KV 头，GQA），视觉编码器是 24 层 ViT，patch size 16，还用了 DeepStack 做视觉特征融合。上下文长度 256K，支持 interleaved M-RoPE。这些参数翻译过来就一句话：它不是个玩具，底座本身是正经的多模态架构。医疗微调这部分，页面写得很克制——“基于 Qwen3-VL-4B 进行医疗领域微调”，但训练数据和微调细节未公开，也没有附评测报告。这一点很关键。社区发布的领域微调模型，能力边界是不透明的，你不知道它是在多大规模、什么质量的医疗数据上训的，也不知道它在哪些任务上验证过。它可能在某些医疗问答上表现不错，也可能只是把通用模型往医疗语料上“过了一遍”。在拿它做任何实际的事之前，这个不确定性是你必须自己消化的。那它到底能干什么？按页面给的适用场景，主要是三类：医疗图文问答（结合医学影像和病历文本）、医疗文本理解（病历摘要、医学常识、健康咨询）、长文档处理（256K 上下文能吃长病历和长报告）。图文问答这块，它确实有视觉编码器，能把图像和文本一起编码进对话，但页面也很直白地写了“医学影像需自行验证”——意思是，别指望它直接读片下诊断，它是个多模态对话模型，不是影像诊断系统。长文档处理倒是它比较实在的优势，256K 上下文在这个量级的模型里不常见，处理几十页的病历或检查报告，不用先做激进的截断。部署门槛确实低。官方给了 transformers 的加载代码，AutoProcessor 加 AutoModelForVision2Seq，device_map="auto" 自动分配，torch_dtype=torch.float16 就起来了。显存需求大约 6–8GB，RTX 4060 这个级别就能本地跑。对话模板走 apply_chat_template，纯文本和图文混合的输入都支持，写法很标准，不需要额外适配。但注意它依赖 bitsandbytes 运行时，这意味着它跟 llama.cpp、TensorRT-LLM 这些推理引擎的原生量化格式不兼容。你想用 vLLM 或者别的加速框架部署，得先确认对方支不支持 bnb 的 NF4 格式，不然就得走 transformers 的原生推理路径。还有个容易被忽略的点：这是量化版，适合推理，不适合继续微调。页面明确建议，如果你要微调，用 Qwen3-VL-4B 的 bf16 原始权重。4bit 量化本身有精度损失，在它上面再训，损失会叠加，而且 bnb 的量化权重做梯度更新也不方便。所以它的定位很清晰——拿来推理、拿来试、拿来验证场景可行性，而不是拿来当训练底座。许可方面倒是省心，基座 Qwen3-VL-4B 是 Apache 2.0，这个量化版沿用，商用遵守条款、保留版权声明就行。但许可证宽松不代表医疗场景就能随便上，页面最后那句“医疗场景输出仅供参考，不能替代专业医师诊断，请遵守当地医疗合规要求”，在医疗语境下不是免责套话，是实打实的合规底线。我的看法是：这个模型最大的价值，是让你用极低的硬件成本，把“本地医疗多模态推理”这件事跑起来。2.87GB、8GB 显存、标准 transformers 接口，试错成本很低。你可以拿它跑一轮病历问答、试试图文对话的流畅度、看看 256K 上下文处理长报告的实际表现，从而判断“本地部署一个医疗多模态模型”在你的场景里有没有意义。但它的医疗能力是不透明的，没有评测背书，量化还有精度损失，所以它适合当验证工具和原型起点，不适合当生产系统的核心组件。先跑起来，再决定要不要往深里走——这个顺序，比一上来就指望它解决问题，要靠谱得多。

【直播笔记】打通智慧病理“最后一公里”——全流程数字化到AI下沉实战精华回顾10月21日，RuiPath数智病理公开课特邀上海衡道医学数字产品总经理左彦飞老师主讲《打通智慧病理“最后一公里”：从全流程数字化到AI下沉实战分享》。左老师围绕全数字化智慧病理科建设展开深度分享，旨在真正解放病理医生的双手。现将直播精华整理成笔记，供大家随时回顾学习。智慧病理数字化建设方案分享首先，左彦飞老师分享了智慧病理数字化建设方案，涵盖信息化、数字化、智慧化及区域化四个板块。重点介绍了华为云医疗AI使能平台与病理大模型的协同应用，实现从切片扫描到报告生成的全流程自动化闭环，提升诊断效率与数据质量。左老师指出AI模型在基层医院落地面临数据质量、人才短缺及算力不足等挑战，通过华为云平台实现端云协同，提升诊断精准度，降低医院投入成本，同时保障数据安全。最后，左老师分享两种PIS系统对接流程，PIS对接实现从扫片到病理诊断全流程自动化闭环，推动医生从“全量阅片”向“重点复核”转型，让AI成为医生的“第二双眼睛”。医疗AI使能平台功能与实战演示接下来，华为云智慧医疗专区运营专家介绍医疗AI使能平台的功能及应用场景，平台旨在辅助医生完成病理分析，提升诊断效率与准确性。同时，专家也详细演示医疗AI使能平台病理模型推理全流程：创建推理任务 → 配置基本信息（病理号、模型选择、规则库） → 选择病理切片（支持本地或平台已上传） → 执行AI推理 → 查看与复核结果（可编辑修正） → 修正数据反馈至模型（数据飞轮） → 下载报告（PDF/Excel格式）。参加体验官活动，共启智慧病理新篇章两位老师的精彩分享让观众意犹未尽，也让大家深切感受到科技的日新月异。病理诊断作为疾病诊断的“金标准”，长期面临医生资源紧缺、工作强度大、诊断标准不统一、基层能力不足等痛点，而AI技术的深度赋能，正在为病理领域带来深刻变革。如果您对本期内容感兴趣，欢迎注册华为云账号并申请平台试用，一起跟着专家老师开始云上实操之旅。同时，领取精美的礼品cid:link_0。未来，随着AI与病理诊断的深度融合，“最后一公里”必将被彻底打通——让每一位病理医生如虎添翼，让每一位患者更快获得精准诊断。科技赋能医疗，智慧点亮病理，锁定华为云开发者联盟视频号，我们下期直播见。【放直播回放地址】关注华为云开发者联盟视频号，点击链接观看回放cid:link_1 

做医疗问答系统的人迟早会撞上一堵墙：用户问“胃出血一般住院多久”，你的检索系统返回了一堆标题里带“胃出血”但正文讲的是“胃出血的病因分类”的文档，真正讲住院时间的那段被排在第五页。你换关键词、加同义词、调 BM25 的 k1 和 b，效果能好一点，但始终差一口气。这口气差在哪？差在医疗 query 和医疗文档之间的词汇重叠度天然就低。患者用口语问“上消化道出血手术大概多久”，文档写的是“术后应观察血压、体温、脉搏、呼吸变化”。字面上几乎没有一个词对得上，词频模型再调参也调不出语义。这时候你需要的是一个能把两句话映射到同一个语义空间、让它们在向量距离上靠近的东西。ModelScope 上的 coROM 中文医疗文本表示模型（base 版，768 维）干的就是这件事。它不是个新模型——coROM 这个系列在社区里已经跑了挺久——但 base 版和 tiny 版的取舍、二阶段训练的设计、以及实际调用时几个容易踩的坑，值得单独拿出来聊一聊。双塔的意义：文档可以离线编码，query 只算一次coROM 用的是标准的 Dual Encoder（双塔） 结构。Query 和 Document 各自独立过预训练编码器，取 [CLS] 位置的输出作为向量，然后算距离。这个结构的工程价值不在模型本身多精巧，而在于解耦：文档库可以离线批量编码、建好向量索引，线上只需要编码用户 query 做一次近似最近邻搜索。千万级候选文档下，延迟是可控的。如果你把 query 和 document 拼在一起过交叉编码器（cross-encoder），精度可能更高，但每次检索都要对每一对 query-document 做一次完整前向，候选规模一上来就直接崩了。coROM 的定位很明确：它是召回层的模型，不是精排层的模型。先把候选从千万级筛到几百条，再交给更重的排序模型去精打细算。这个分工在工程上是合理的。底座用的是 coROM 系列预训练语言模型，不是通用 BERT 直接套医疗数据。检索任务的目标函数和语言建模本来就不一样——前者要把相关的 query-passage 拉近、不相关的推远，后者关心 token 级预测。coROM 底座在预训练阶段就把“匹配关系”嵌进去了，所以它在进医疗微调之前，对“这两段文本是不是在说同一件事”已经比通用 BERT 敏感。二阶段训练：随机负样本不够，得挖难的页面里有一段容易被略过的描述：训练分两阶段，第一阶段从官方文档集随机采样负样本，第二阶段通过 Dense Retrieval 挖掘难负样本扩充训练数据重新训练。这个设计值得多说两句，因为它解释了为什么 coROM 在医疗检索上比“拿 BERT 直接微调”效果好。随机负样本的问题在于太“容易”了——你拿“胃出血住院时间”当正样本，随机采一条“甲状腺结节超声特征”当负样本，模型闭着眼睛都能区分，学不到细粒度的相关性边界。难负样本才是真正逼模型去分辨“相关但不完全匹配”和“确实不相关”的东西。第二阶段用 Dense Retrieval 把那些“看起来像正样本、其实是负样本”的段落挖出来重新训练，模型才会对医疗语义的细微差异更敏感。训练配置是 4 张 V100、3 个 epoch、batch_size 64、learning_rate 5e-6、AdamW。这个资源门槛对中小团队来说不算高，意味着你拿自己的医疗标注数据替换掉示例数据集，在单机四卡上完成领域微调是可行的。示例代码用的是 dureader-retrieval-ranking，把 query、positive_passages、negative_passages 三个字段配好，挂 nlp_sentence_embedding_trainer 就能跑。两个实际调用时绕不开的细节第一，默认 max_length 是 128。 页面写得很清楚，“默认最长文本长度为128”，训练超参里 max_sequence_length 也是 128。医疗段落如果偏长——比如一段完整的术后护理说明——超出部分会被直接截断。这对召回精度有实际影响，尤其是当关键信息出现在段落后半段的时候。解决办法要么在 pipeline 配置里显式调大 max_length，要么在入库前先把长文档做段落切分、分段编码。别指望默认值能覆盖所有场景。第二，scores 输出的是 L2 距离，不是余弦相似度。 页面正文说“通过 cosine 距离度量相关性”，但代码注释里明确写了“scores 中的 score 计算两个向量之间的 L2 距离得到”。实际输出 75.6、62.2 这种量级也印证了这一点——余弦相似度不会是这个数量级。这意味着你不能按“0.8 以上算相关”这种余弦直觉去设阈值。更稳妥的做法是在自己的验证集上校准一个 L2 距离的截断值，或者干脆只用相对排序、不做绝对分数的硬截断。文档表述和代码实现之间的这种细微出入，在工程接入时是很容易踩的。base 和 tiny 怎么选页面这次给的是 base 版，768 维。之前 tiny 版是 256 维。两者的取舍很直接：base 精度更高，适合对相关性要求严格的场景；tiny 存储和计算开销小得多，适合候选规模极大、延迟敏感的第一层粗筛。如果你的检索链路是多阶段的，完全可以 tiny 做初筛、base 做二次召回，或者 base 召回后接精排。向量维度差了三倍，索引大小和检索速度的差异在实际系统里是能感知到的。模型 ID 是 iic/nlp_corom_sentence-embedding_chinese-base-medical，注意是 iic/ 前缀，不是早期文档里常写的 damo/。加载的时候用 Tasks.sentence_embedding，输入支持三种形式：只给 source_sentence 算句子间相似度，给 source_sentence 加 sentences_to_compare 算 query 和多候选的相关性，或者直接传单句拿向量。接口设计得比较灵活，但记得按你的实际任务选对输入结构，别把两种模式搞混。边界还是那句话模型在 Multi-CPR 医疗子集上训练，页面局限性写得很直白：“在其他垂类领域文本上的效果会有降低，请用户自行评测后决定如何使用。”这不是客套。coROM 的领域专用性是一种明确的 trade-off——医疗检索上它换来了更精准的语义对齐，代价是金融合同、法律条文这些场景不该指望它。如果你的系统是跨领域混合检索，要么额外评估，要么考虑通用版本。最后coROM base 版的价值不在于它有多新，而在于它把一个很具体的问题——医疗 query 和医疗文档之间词汇不重合时的语义匹配——做成了一个接口清晰、可微调、部署轻量的现成组件。768 维的向量表示，4 张 V100 的微调门槛，双塔结构带来的离线编码能力，这些加在一起，让它在医疗问答、知识库检索、FAQ 匹配这类场景里，是一个能直接放进召回层跑起来的东西。用它之前把 max_length 和 L2 距离这两个坑填上，剩下的就是拿你自己的数据跑一轮 Recall@K，看它能不能把你的候选质量往上提一截。

OFA 图像描述中，最容易让人纠结的不是代码怎么写，而是模型列表里那一排规模档位——Tiny 33M、Medium 93M、Base 180M、Large 470M、Huge 930M，还有英文、中文、通用场景、电商场景的区分。六行代码能跑通 demo 没错，但真到选型的时候，看着这一列参数，还是得停下来想一想：我的场景到底需要哪一档？这篇就把页面里的规模表、COCO 榜单数据和微调示例放在一起，聊聊选型的逻辑。不讲虚的，就按实际使用场景来。先搞清楚 OFA 在做什么OFA 的全称是 One-For-All，ICML 2022 的工作。它的核心主张是用一个统一的序列到序列框架，把跨模态、视觉、语言这些模态，和图像描述、视觉定位、图片分类、文本生成这些任务，都塞进同一个模型里。你不需要为每个任务设计不同的输出头或损失函数，统一成“输入序列 → 输出序列”就行。这个设计思路对使用者的直接影响是：同一个模型权重，换个任务头或者换个 prompt 格式，就能做不同的事。页面卖的是图像描述能力，但底座的统一性意味着它作为多模态起点是有延展空间的。当然，对只想做图像描述的人来说，这个背景知识了解一下就行，不用深究。规模表里的关键信息：不只是“大小”页面给的模型规模表值得逐列看：模型参数量（英文）BackboneHidden size编码层解码层OFA-Tiny33MResNet5025644OFA-Medium93MResNet10151244OFA-Base180MResNet10176866OFA-Large470MResNet15210241212OFA-Huge930MResNet15212802412几个容易被忽略的点：Tiny 到 Medium 的跨越主要是 Backbone 和 Hidden size 的提升（ResNet50→101，256→512），编码解码层数没变，还是 4+4。Base 到 Large 才是真正的“加深”——编码层从 6 翻到 12，解码层也从 6 到 12，Hidden size 从 768 到 1024。Huge 的编码层直接堆到 24，但解码层还是 12，这说明它的视觉理解端下了更重的功夫，文本生成端相对克制。这个结构差异决定了不同规模的实际表现曲线。Base 到 Large 的提升，主要来自更深的编解码器对图文对齐关系的建模能力；Huge 的额外提升，更多来自视觉端的精细理解。COCO 榜单数据能告诉你什么页面给了三档模型在 Karpathy test split 上的完整指标，我把它整理成更直观的对比：模型CIDEr（CE 优化）CIDEr（CIDEr 优化）提升幅度OFA-Base138.2146.7+8.5OFA-Large142.2150.7+8.5OFA-Huge145.3154.9+9.6几个观察：第一，Base 到 Large 的 CIDEr 提升是 4.0（CE 阶段），Large 到 Huge 是 3.1。 边际收益在递减，但绝对值仍然可观。如果你对描述质量有硬要求，Large 是个甜点位——比 Base 好一截，又没 Huge 那么重。第二，CIDEr Optimization 阶段对所有规模都有稳定的 +8.5 到 +9.6 的提升。 这说明用 CIDEr 作为强化学习目标做第二阶段优化，效果是普遍性的，不挑模型大小。你微调自己的数据时，这个策略值得借鉴。第三，BLEU-4 的绝对值都在 41–45 区间，SPICE 在 24–27 区间。 BLEU-4 反映 n-gram 匹配精度，SPICE 反映语义内容覆盖。这两个指标在不同规模间的差距比 CIDEr 小，说明小模型在“说对基本内容”上并不差多少，差距主要在“说得更丰富、更贴合参考描述的风格”上。如果你的场景只要求描述准确（比如给图片打标签做检索），Base 甚至 Tiny 可能就够了；如果你要的是接近人类撰写的自然描述，Large 或 Huge 的增益才明显。微调示例里几个值得注意的配置页面给的 finetune 示例用的是 coco_2014_caption 数据集，Large 版权重，Trainers.ofa。几个实操细节：batch_size_per_gpu 设成了 1。 这是示例为了在有限显存下能跑通，不是推荐值。470M 的 Large 版在 24G 卡上，batch size 开到 4–8 是合理的；如果显存吃紧，可以配合 gradient accumulation。max_epochs 是 2。 COCO 这种大规模数据集上 2 个 epoch 是合理的，但你自己的小数据集可能需要更多轮，注意观察过拟合。数据集 remap 的字段是 image 和 text。 这意味着你替换成自己的数据时，只要保证这两列存在、格式对得上（图片路径或 URL + 文本字符串），就能直接跑。不需要改模型结构或损失函数。示例里 split="train[:100]" 只取了 100 条。 这是演示用的极小子集，真实微调当然要用全量或足够大的子集。但这也说明一件事：这个示例的代码路径是经过验证能跑通的，你改成自己的数据，主要工作在于数据准备和超参调整，而不是代码适配。选型的实际建议把上面的信息落到选型上，我的建议是按场景分三档：Tiny / Medium（33M–93M）：适合边缘部署、高并发、对延迟敏感的场景。比如给海量图片批量打标签做检索索引，描述质量要求不高，能覆盖主体和场景就行。33M 的 Tiny 在 CPU 上都能跑，Mobile 端部署也不是没可能。Base（180M）：通用场景的性价比之选。COCO 上 CIDEr 138 起步，微调后能到 146，描述质量足够支撑大多数应用。单卡推理和微调都轻，是“先跑起来再说”阶段的最优解。页面这个 large 版其实对很多场景是过剩的。Large / Huge（470M–930M）：对描述质量有明确要求、且硬件不是瓶颈的场景。比如内容平台需要高质量 alt text、或者你要用 OFA 作为多模态底座做进一步的复杂任务（视觉问答、图文检索）。Large 是甜点位，Huge 的编码层翻倍带来的是视觉理解的精细度提升，适合图像内容复杂、需要捕捉细节的场景。还有一个容易忽略的维度：语言。页面这个模型是英文的（_en 后缀），训练数据是 COCO 的英文 caption。如果你要做中文描述，得换中文版本（页面提到了 base-电商场景-中文），或者自己在中文图文对上微调。英文模型直接输出中文是不现实的，tokenizer 和训练分布都不支持。最后一句OFA 这个系列的选型逻辑其实不复杂：小规模换效率，大规模换描述质量，Base 是大多数场景的起点。页面给了完整的规模表和榜单数据，就是为了让你在做决定之前有据可依，而不是盲目选最大的或者最便宜的。先想清楚你的场景对描述质量的要求、硬件预算、以及是否需要微调，再对着这张表选，比直接抄 demo 代码里的 large 要靠谱得多。

最近翻医学视觉语言模型，看到 Hulu-Med 的发布信息，11 月底那会儿它刚宣布兼容 vLLM，给上了张量并行支持。这个更新本身不算大新闻，但结合它 10 月发布时的定位——“透明的医学通用模型”——让我觉得值得单独写一篇。原因不是它刷了多少榜，而是它解决了一个很实际的问题：做医学多模态应用的人，到底该拿一个只会看 2D 图像的模型，还是一个能同时处理文本、2D、3D 体数据和手术视频的系统。Hulu-Med 选的是后者。它覆盖的范围，比大多数医学 VLM 宽一圈大多数医学视觉语言模型聚焦在单一模态上：X 光片、病理切片、眼底照片，做一种影像的问答或报告生成。Hulu-Med 的训练数据覆盖了 12 个人体解剖系统、14 种影像模态，从 CT、MRI、X 光、超声、PET、OCT 到内窥镜、组织病理学、眼底照相、皮肤镜、血管造影，再到数字照片和医学图表。样本量 1670 万。模态跨度大，对应的下游任务也跟着宽：视觉问答（2D/3D/视频）、医学报告生成、疾病诊断、解剖学理解、手术阶段识别、临床对话、医疗文本推理、多语言医疗问答、罕见病诊断。它没有把自己锁在“看图说话”这一个任务上，而是往“医学场景的通用多模态底座”方向走。对开发者来说，这意味着如果你要做的系统涉及多种影像类型——比如一个平台同时处理放射影像、病理切片和手术视频——你不需要为每种模态单独接一个模型。一个底座覆盖多模态，工程上少一层拼接，推理链路也短一截。MoE 架构和部署方式，是它最需要提前想清楚的部分Hulu-Med 有 7B 到 32B 的规模变体，但页面特别提醒了一件事：Hulu-30A3 和 235A22 是基于 MoE 的模型，建议通过 vLLM 或 SGLang 部署，以获得最佳性能和效率。这不是随口一说，MoE 模型在原生 transformers 下跑推理，专家路由带来的额外开销会让吞吐很难看，vLLM 的专家并行（expert parallel）和 chunked prefill 才是它设计上预期的运行环境。部署命令页面给得很完整，vLLM 和 SGLang 两条路径都有。vLLM 那边开了 8 卡张量并行、enable_expert_parallel、max_model_len 75538、gpu_memory_utilization 0.85；SGLang 那边上下文长度直接设到 128000。这个上下文窗口对医学场景是有意义的——一份完整的电子病历、一套多期影像的报告、一段手术记录，长度都不短，128K 意味着不需要做激进的截断。部署起来之后，调用方式是 OpenAI 兼容 API。文本和图像走标准的 chat.completions.create，图像用 base64 编码塞进 image_url。这对已经有一套 OpenAI API 调用封装的团队来说，迁移成本很低，把 base_url 指向本地 8000 端口就能跑。但要注意，7B 版本和 MoE 版本的部署路径不一样。页面明确说“作为基于 MoE 的模型，建议通过 vLLM 或 SGLang 部署 Hulu-30A3/235A22”。7B 版应该可以走原生 Transformers 的 AutoModelForCausalLM.from_pretrained，页面也提到了 HuggingFace 兼容的权重已经放在 main 分支，国内用户可以设 HF_ENDPOINT=https://hf-mirror.com 走镜像。选型时先确认你手头的硬件和部署栈撑得住哪个规模。“透明”是这个模型的核心卖点，不只是个形容词Hulu-Med 反复强调“完全基于公开数据训练”“完整的开源流程，包括数据整理、训练代码和模型权重”。在医学 AI 这个领域，这句话的分量比在通用领域重得多。医学模型的黑箱问题一直是个落地障碍：医院和监管方需要知道模型在什么数据上训的、有没有覆盖特定人群、有没有潜在的偏差来源。一个完全基于公开数据、训练流程可追溯的模型，在合规审查和本地验证环节，比一个“效果很好但不知道喂了什么”的模型要好推进得多。它不一定在每一个单项任务上都赢过闭源系统，但它提供了一个可以被审查、被复现、被在自己的数据上重新验证的起点。训练成本也值得一提：7B–32B 规模变体仅需 4,000–40,000 GPU 小时。这个数字对有意做领域继续预训练或大规模微调的团队来说，是有参考价值的——它说明这个量级的医学多模态模型，训练开销在一个中型团队可承受的范围内。评估这件事，它自己也在补页面的更新记录里有一条值得注意：11 月 1 日发布了 MedUniEval，基于 MedEvalKit 构建，用于在文本、2D、3D、视频多种模态上评估医学视觉语言模型。这说明团队意识到“30 个医学基准 SOTA”这个说法需要配套的、可复现的评估工具来支撑。部分处理后的评估数据已经公开。对使用者来说，这意味着你可以用同一套评估框架去对比 Hulu-Med 和你自己的候选模型，而不是各自引用不同的榜单数字。医学模型的选型，评估口径一致比分数高低更重要——不同基准之间的可比性，往往比单一榜单上的排名更有实际意义。适合谁，不适合谁适合：需要统一处理多种医学模态（2D/3D/视频/文本）的团队；对模型透明度和可追溯性有要求的机构场景；希望拿一个可微调的医学多模态底座、在自己的数据上做领域适配的开发者；以及已经在用 vLLM/SGLang 做推理服务、想接一个医学专用模型的工程团队。不适合：只有单卡、跑不动 MoE 推理的个人开发者（7B 版可以试试，但 MoE 版本的硬件门槛不低）；只需要单一模态、单一任务的轻量场景（用更小的专用模型更划算）；以及期待“开箱即用做临床诊断”的用法——它是个通用底座，不是经过临床验证的诊断系统，页面也没这么宣称。总结Hulu-Med 值得关注的地方，不是它在 30 个基准上拿了 SOTA，而是它把“医学多模态”这件事从单点任务的堆叠，做成了一个覆盖 14 种影像模态、支持 2D/3D/视频、训练流程完全公开、部署走 vLLM/SGLang 标准路径的系统性底座。它的 MoE 架构意味着部署前得想清楚硬件和推理框架，它的透明度意味着合规和本地验证有路可走，它的评估工具意味着你不需要盲信榜单。如果你在做的东西跨了不止一种医学模态，这个模型值得放进候选清单里跑一轮对比。

原本是想系统调研一下USCAP 2026里有哪些值得关注的病理AI摘要。结果几千篇摘要一路看下来，真正让人眼前一亮的病理AI相关研究，其实并不算多。倒是另一类工作更容易让人产生联想：它们本身并不是病理AI研究，甚至很多仍然是很传统的病理学问题，但恰恰因为还主要依赖人工阅片、人工计数、人工分层，反而让人不断冒出一个想法：这些地方，病理AI是不是已经有了用武之地？于是，索性把这一路看到的这些“非病理AI研究摘要”整理出来，换一个角度去看：如果站在病理AI研究者的视角，哪些题目其实已经隐含了清晰的AI切入点？哪些问题表面上是传统病理研究，实质上却很适合被AI重新量化、标准化，甚至发展成新的临床辅助工具？当然，很多判断只是根据题目以及简单的摘要做出的推演，再加上出发点本身就是一个非病理医生的AI研究者视角，里面难免会有不成熟、不现实、甚至临床意义并不强的想法。哪些方向真的值得做，哪些方向做出来也未必有价值，欢迎大家拍砖。USCAP 2026上有很多传统病理研究里，仍然有大量高度依赖人工阅片、人工计数、人工分层的工作环节。它们不一定最时髦，但恰恰因为这些问题还没有被很好地数字化、量化和标准化，所以才给病理AI留下了现实的切入空间。从这个角度看，USCAP 2026里这些“并非病理AI”的摘要，某种程度上反而比很多已经贴上AI标签的研究更有启发性。因为它们展示的不是AI已经做了什么，而是病理学还在用怎样的方式提出问题；而只要问题还停留在高劳动量、低标准化、强经验依赖的状态里，AI就总有机会介入。当然，真正值得做的病理AI选题，仍然要回到三个更现实的问题：它是不是临床真问题，它能不能拿到可靠标签，它做出来之后是否真的比人工现有流程更有价值。也欢迎大家拍砖：哪些方向看起来很美，实际并不值得做；哪些方向表面普通，反而可能是最接近转化落地的病理AI题目。🔷149 Largest Ductal Diameter as a Histopathologic Predictor of DCIS Extent in Resection Specimens这个题目很容易让人想到一个典型的量化型病理AI任务：先做导管结构识别与分割，再自动测量最大导管直径，并进一步预测DCIS的病变范围。再往前走一步，这个方向甚至未必需要停留在“最大直径”单一变量上，而可以扩展到更完整的导管形态组学，例如异常导管数量、扩张程度分布、坏死相关征象、导管空间聚集模式等，最后形成一个用于估计DCIS extent的复合数字指标。🔷193 Can Histologic Features of Flat Epithelial Atypia Distinguish Cases with and without Co-Existing Ductal Carcinoma In Situ (DCIS)?这类题目非常适合做“从形态到风险”的AI。任务不只是识别FEA，而是预测哪些FEA病例更可能伴发DCIS。AI的重点不一定是替代病理医生判断是不是FEA，而是对FEA内部做进一步的风险分层，帮助识别那些看起来边界不大、但临床上可能更值得警惕的病例。🔷216 p53 and p16 Immunostaining Patterns in Breast Phyllodes Tumor: Currently Underused Tools in Histological Classification and Prognostication of Phyllodes Tumor这是很典型的形态与IHC联合建模方向。病理AI可以先做p53、p16的自动定量判读，再把H&E的形态特征和IHC量化结果融合，用于phyllodes tumor的分类、复发风险分层甚至恶性潜能评估。🔷279 Clinical Significance of Endometrial Cells in Papanicolaou Tests of Women Aged 45 or Older: A 3-year Retrospective Histologic Follow-up Study from a Large Institute如果这项研究背后连接了细胞学与后续组织学随访，那么很适合转化成一个细胞病理AI方向：自动识别Pap涂片中的子宫内膜细胞，并进一步预测哪些病例的随访组织学更值得关注。🔷291 Small Samples, Big Data: Rapid On-Site Molecular Adequacy Evaluation of EUS-FNA Specimens in Pancreatic Ductal Adenocarcinoma这几乎是一个现成的病理AI应用场景。核心不是肿瘤分类本身，而是判断：这份EUS-FNA样本够不够做分子检测？肿瘤细胞含量是否足够？是否值得追加取样？这类评估对穿刺流程、分子检测成败和患者路径都很关键，也是病理AI特别容易体现“流程价值”的方向。🔷399 Digital Linked Visualization of H&E and Immunofluorescent Whole Slide Images in Dermatopathology–a Pilot Evaluation皮肤病理中H&E与免疫荧光切片的同步联动阅片，不只是提高了阅片便利性，更重要的是把荧光信号重新放回到了具体组织结构背景中，从而更准确地理解信号定位与病理形态之间的对应关系。 病理AI的切入点在于构建H&E—免疫荧光跨切片配准与联动分析模型，在实现多张切片自动匹配、同步浏览和信号定位的基础上，进一步发展为形态—荧光联合判读、异常模式检出和多模态数字病理辅助诊断工具。🔷407 Prognostic Significance and Clinicopathological Association of Tumor Budding and Poorly Differentiated Clusters in Cutaneous Malignant MelanomaTumor budding和PDC几乎天然是病理AI任务。切入点很明确：自动检测、自动计数、空间分布量化，然后和预后、复发、转移等结局做关联。可以进一步思考的是，AI是否可以不仅复现人工定义，还找出更稳定、更连续化的出芽负荷相关指标。🔷522 Accelerating Precision Diagnosis in CT-Guided Lung Biopsies Using Rapid Fresh Pathology这和术中快速病理、穿刺样本是否足量有类似切入点，具有高转化价值场景。AI可以用于 新鲜病理组织样本的肿瘤识别、样本是否足量的判断、初步亚型提示，甚至辅助后续分子检测路径选择。相比常规石蜡切片，这类快速场景更能体现AI在时效性上的优势。🔷566 Invasion Rather Than Degree of Nuclear Atypia or Growth Pattern Correlates with Distant Metastasis in Encapsulated Follicular and Solid-Patterned Thyroid Tumors: Implications for The Future Classification of Thyroid Carcinomas在包裹性滤泡型和实性生长的甲状腺肿瘤中，真正决定远处转移风险的关键并不是乳头状癌样核特征或实性生长模式本身，而是是否存在包膜或血管侵犯，说明现有分类体系可能过度强调核异型，却低估了侵犯这一更具生物学意义的结构性证据。 病理AI的切入点可以把模型的重点放在包膜侵犯、血管侵犯、浸润边界等结构性证据的识别上，而跳脱传统的细胞核层面的表征。🔷600 Elucidation of an Immunohistochemical Biomarker Signature for Aggressive Stage II Colorectal Cancer构建的多IHC标志物面版的新型预测标志物很适合病理AI做两层工作。第一层是多标志物IHC的自动量化；第二层是把这些IHC指标和H&E形态特征整合，形成预后模型。再进一步，还可以探索是否存在H&E对这类IHC标志物的替代预测能力。🔷651 Implications of Subclassifying Gastric Intestinal Metaplasia in a Low-risk Population for Gastric Cancer这是一个很标准的“常规诊断对象如何升级为风险分层工具”的方向。AI切入点可以是胃肠化生进一步的亚型自动分类，并进一步评估不同亚型与后续癌变风险、监测策略之间的关系。🔷652 Lymph Node Ratio, Not Nodal Stage, Predicts Overall and Disease-Free Survival in Non-Ampullary Primary Small Intestine Adenocarcinoma这个研究的启发是：AI不一定只做“有没有淋巴结转移”，而更适合去量化转移负荷。包括淋巴结检出数量、阳性结节数量、转移灶面积、阳性比例等，都可以成为比单纯N stage更连续、也更适合建模的数字病理指标。🔷 672 Stage II Colon Cancer: Which Pathologic Features Best Predict Prognosis研究发现壁外血管侵犯（EMVI），即在显微镜下，于肠壁固有肌层之外的静脉血管腔隙内发现了肿瘤细胞，是二期肠癌强有力的预后因素。病理AI很适合对这类组织学标志物进行自动检测和量化。🔷698 Tumor Budding Predicts Nodal Status in Anal Squamous Cell Carcinoma和前面的budding类似，但这里的终点更明确，是nodal status。AI切入点就是在活检或切除标本中自动量化tumor budding，并探索它对淋巴结转移、治疗前分层和决策支持的价值。🔷699 Predictive Value of the PICaSSO Histologic Remission Index (PHRI) for Relapse in Ulcerative Colitis Patients with Endoscopic Remission。研究验证了一种新的简化版的基于中性粒细胞的组织学评分系统与IBD患者预后的关系。这种的组织学评分系统非常适合AI自动化。AI可以做的是不但是把它更稳定地复现出来，还可以探索从离散等级到连续量化的过渡。如果能进一步预测复发，那就更有价值。🔷706 Key Morphologic Predictors of Pancreatic Ductal Adenocarcinoma in Biopsy and FNA Specimens: A Correlative Histologic Study在胰腺穿刺活检和细针穿刺这类有限样本中，最能提示PDAC的并不是很多零散形态线索的简单堆积，而是少数几个更稳定的关键征象——如核极性丢失、核拥挤、深染和不典型腺体，其中FNA中最突出的信号则是深染。 病理AI的切入点在于构建面向有限样本的PDAC关键形态征象识别模型，自动量化这些高价值细胞学和结构学特征，并进一步发展为针对core biopsy和FNA的诊断置信度辅助工具。🔷709 Eosinophil Quantification in Chronic Gastritis: Potential Implications in Pathogenesis and Management of Collagenous Gastritis嗜酸性粒细胞计数是非常适合病理AI的任务。在临床场景中，如果慢性胃炎的管理确实需要更稳定、更大规模的嗜酸性粒细胞计数，那么AI就能很自然地替代繁琐人工计数，并扩展到按区域、按层次、按高倍视野的细粒度统计。🔷710 Do Tumor Deposits Demand More? A Multicenter Validation Of Sassun–Mayo Stages In N1 Colon Cancer Assessing Different Chemotherapy RegimensTumor deposit是很有潜力但也很考验定义一致性的AI方向。若要切入，重点不只是检出tumor deposit，更要解决它与淋巴结转移、血管侵犯等结构的区分，并进一步把deposit负荷、数量、分布模式量化出来。🔷760 Limitations of Morphology-Based Tumor Purity Assessment in Clinical Oncology: Insights from Molecular Correlation研究指出了传统形态学的肿瘤纯度评估可能并不可靠。那AI一方面可以把肿瘤纯度评估做得更标准；另一方面也可以更有意思地去研究，哪些形态因素导致了“形态估计”和“分子真值”之间的偏差。这个方向不只是做自动评估，而是在反过来审视形态学判断的边界。🔷767 Do Patients with Lymph Node Micrometastasis (≤ 2 mm) Show Better Disease-Free Survival Than Those with Macrometastasis (> 2 mm) in Prostate Cancer Following Radical Prostatectomy?如果淋巴结转移灶本身的大小与预后有直接关系，那么AI不但可以辅助识别有转移的淋巴结，更可以精细量化转移灶的大小，并进一步提供更连续的转移负荷度量，例如总转移面积、多灶性、最大灶直径与结节大小比值等。🔷771 Analysis of Three Different Methods for Interpretation of P53 Immunohistochemistry in Penile Squamous Cell Carcinoma in Predicting TP53 Mutational Status在阴茎鳞癌中，p53免疫组化并不是简单看“阳性多少”就够了，真正更接近TP53突变状态的是对表达模式的判读，例如弥漫基底/基底上过表达、全阴性或胞浆型等异常模式，而不是单纯的阳性比例阈值。而AI正好可以把强度、范围、染色模式做成标准输出，实现比传统计数法更贴近分子状态的数字化判读。🔷778 Digital Regrading of Urothelial Carcinoma with Focal High-Grade Features: Improved Interobserver Agreement and Cytology Correlation Using the ISUP Hybrid System对于伴局灶高级别成分的尿路上皮癌，传统WHO 1973三级分级体系在G2区间内容易产生模糊和分歧。 病理AI的切入点在于构建尿路上皮癌局灶高级别成分识别与数字化重分级模型，自动量化低级别与高级别区域的比例和空间分布，辅助在LG2与HG2等易分歧区间实现更一致的判读，并与细胞学结果联合提升分级的稳定性与临床相关性。🔷784 Integrating WHO Grading with ABCC2 Immunohistochemistry Improves Renal Biopsy Risk Assessment in Papillary Renal Cell CarcinomaPRCC术前活检仅靠WHO分级进行风险判断并不稳定，存在明显低估风险的问题，而加入ABCC2 IHC后，尤其在小肾肿块和主动监测场景中，活检与切除标本之间的一致性可以明显提高。 病理AI的切入点在于构建活检形态分级+ABCC2表达模式联合判读模型，一方面自动识别BB反应并标准化风险分层，另一方面也可进一步探索仅基于H&E预测ABCC2风险表型，用于术前更稳健的分层和监测决策辅助。🔷 798 mCRPC: From Morphology to Survival转移性前列腺癌并不是一个单一形态实体，不同形态亚型对应着明显不同的生存结局和分子背景，其中cribriform ADC预后相对更好。病理AI的切入点在于，基于H&E构建转移灶形态亚型自动识别与混合形态量化模型，进一步结合生存和基因数据，发展为面向mPC的形态分型、风险分层和潜在分子异常提示工具。🔷819 Non-Invasive Papillary Urothelial Carcinoma with "Plasmacytoid” Morphology: A Retrospective Review of 500 Consecutive Cases一部分看起来并不具备传统高级别细胞学特征的 pTa乳头状尿路上皮癌，只要出现“plasmacytoid”形态，其进展风险就可能高于典型低级别病变，但又未必完全等同于常规高级别肿瘤。 病理AI的切入点在于构建非典型少见形态成分识别与比例量化模型，自动检出并量化pTa PUC中的plasmacytoid成分，再结合随访结局评估其是否应作为独立的升级风险信号或纳入更精细的数字化分级体系。🔷823 Quantification of Perineural Invasion (PNI) in Individual Biopsy Sites Enhances Postoperative Risk Stratification in Prostate Cancer: Impact of 2 PNI Foci Detected in 1 vs. 2 Biopsy Site(s)这是非常标准的AI选题。PNI不应只做有无判断，而应做到按针道、按部位、按灶数输出。也就是说，AI不是“发现PNI”就结束了，而是进一步量化PNI负荷及其空间分布，这才更符合题目真正关注的问题。🔷839 Histologic Features “Suspicious for Extraprostatic Extension” on Core Biopsy Are Strongly Correlated with Extraprostatic Extension at Radical Prostatectomy在前列腺穿刺活检中，即使尚未达到“明确前列腺外侵犯（EPE）”的标准，只要出现肿瘤紧贴脂肪组织、或位于超出前列腺平滑肌基质边界之外的胶原纤维组织中，这类“可疑EPE”征象同样与根治标本中的真实EPE高度相关。 病理AI的切入点在于构建EPE可疑征象识别与风险提示模型，自动定位肿瘤—脂肪接触、肿瘤突破前列腺基质边界等关键结构关系，将原本依赖经验的“sEPE”判断转化为更标准化、可重复的术前风险评估工具。🔷865 Novel Composite Histopathologic Score from Prostate Base Biopsies Predicts Ipsilateral Seminal Vesicle Invasion at Radical Prostatectomy前列腺基底部活检中的Grade Group≥3、PNI和PTI≥50%不只是彼此相关的高危征象，而是能够独立预测同侧精囊侵犯，并且三者整合后的复合病理评分比单一特征更具术前分层价值。 病理AI的切入点在于构建基底部活检多特征联合量化模型，自动识别并整合高级别成分、神经周围侵犯和肿瘤累及比例，进一步形成面向SVI风险的数字化复合评分工具，用于术前风险评估和治疗决策辅助。🔷871 Morphological Detection of Intraductal Carcinoma of the Prostate on Biopsy Is a Strong Predictor of Upgrading at Radical Prostatectomy前列腺导管内癌IDC-P本身就是前列腺病理里很有价值的目标。AI切入点很直接：自动识别IDC-P，并把它作为病例升级风险的重要信号。真正有意思的是，AI是否能帮助把那些“高度可疑但尚不典型”的病灶更早提示出来。🔷872 Quantification of Perineural Invasion (PNI) in Individual Biopsy Sites Enhances Postoperative Risk Stratification in Prostate Cancer: Comparison of Single PNI Focus vs. Multiple PNI Foci Within a Single Biopsy Site和摘要823类似，但这里更强调单一针道内PNI灶数的差异。这再次提示一个问题：很多像PNI这样的传统病理特征其实不该停留在“有/无”二元标签，而更适合被AI转化为连续化、负荷化的量化指标。🔷873 H&E-based Immune Phenotypes Predict Benefit from Dual Immune Checkpoint Inhibitors (ICIs) but not ICI plus Tyrosine Kinase Inhibitors (TKIs) in Metastatic Renal Cell Carcinoma (mRCC)人工评估已经可以仅基于H&E对肿瘤免疫微环境进行分型（desert/excluded/inflamed），且这种表型能够区分双免（ICI+ICI）治疗的获益人群，但对ICI+TKI组合则缺乏预测能力。 病理AI的切入点在于构建H&E免疫表型自动识别与空间免疫浸润量化模型，不仅实现desert/excluded/inflamed的标准化分型，还可进一步量化肿瘤内与周边免疫细胞分布，用于指导不同免疫治疗方案的分层选择。🔷911 Significance of The Presence of One or More Non-Conventional Histologic Components in Urothelial Carcinoma: Focus on Pathologic Outcomes Post-Neoadjuvant Chemotherapy in A Multi-institutional Cohort尿路上皮癌的非经典组织学成分，本来就很适合做数字病理量化。AI可以帮助识别这些非经典成分，并量化其比例，再与新辅助治疗后的病理结局关联。这类方向对“变异形态成分的系统研究”会很有帮助。🔷937 Residual Disease and Chemotherapy Response Score (CRS) in Interval Cytoreductive Surgery (ICS) After Neoadjuvant Chemotherapy (NACT) for High-Grade Serous Ovarian Carcinoma (HGSOC): Time to Refine the Prognostic Stratification?HGSOC新辅助治疗后网膜病灶的化疗反应评估中，二分类CRS（CRS1/2 vs CRS3）比三分类更稳定。病理AI的切入点在于构建CRS自动量化模型，标准化输出CRS分层、残留肿瘤比例及是否完全清除，从而把原本主观性较强的治疗反应评估转化为更稳定、可重复的数字化预后工具。🔷969 Pathologic and Molecular Predictors of Immunotherapy Response In Endometrial Cancer Inform Outcomes Beyond TCGA Classification子宫内膜癌免疫治疗获益并不只由MMRd或POLE这类粗颗粒分子分型决定，肿瘤浸润前沿的单核炎症、肿瘤内淋巴细胞、肿瘤周围间质状态，以及ARID1A/PTEN突变等更细致的形态与分子特征，都可能提供额外的预测信息。 病理AI的切入点在于构建肿瘤前沿免疫炎症与间质量化的形态—分子联合模型，基于H&E自动评估invasive front炎症、TILs和间质类型，并进一步与分子特征整合，用于更精细的免疫治疗反应分层。🔷972 Distinguishing Minimal High-Grade Serous Carcinoma (HGSC) from Serous Tubal Intraepithelial Carcinoma (STIC) of the Fallopian Tube: A Single-Institution Experience这是典型的微小病变、边界病变鉴别问题。AI的价值可能不在于独立下结论，而在于做“高可疑区域提示”和“微小病变检出增强”。这类方向技术上有挑战，但临床意义往往不低。🔷1010 Assessment of Prognostic Significance of Extent of Infiltrative Growth in a Multi-institutional Series of Ovarian Mucinous Carcinoma浸润性生长模式是非常适合AI量化的对象。因为人工判断常常是印象式、离散化的，而AI可以把浸润边界复杂度、浸润范围、局灶与弥漫分布等特征转化为连续变量，再与预后做关联分析。🔷1017 Count On It: An Outcome-Anchored Three-Gland Rule for Extensive Endocervical Gland Involvement (eEGI) in Initial Cervical Biopsies with HSIL真正有预测价值的并不是“是否存在宫颈腺体受累（EGI）”本身，而是其在初次活检中的受累范围，尤其受累腺体数达到≥3个时，更提示后续切除标本切缘不良、残留病变和再次切除风险升高。 病理AI的切入点在于构建HSIL中EGI自动识别与腺体计数模型，标准化输出受累腺体数、受累比例和范围分层，把原本较主观的“广泛受累”判断转化为更稳定的数字化风险提示与切缘管理辅助工具。🔷1019 Classification of Focal Versus Extensive LVI in Endometrial Carcinoma is Dependent on Method of LVI Quantification子宫内膜癌中广泛LVI不仅取决于是否达到5个受累脉管，更取决于这5个病灶是集中出现在单张切片，还是分散在多张切片中。 病理AI的切入点在于构建LVI自动识别与全病例级负荷量化模型，既能在单张切片上检测和计数明确LVI灶，也能跨全部肿瘤切片整合其总数、分布和聚集模式。🔷1035 Integrating Morphology and Immunohistochemistry to Guide POLE Testing in Endometrial Carcinoma: A Real-World ExperiencePOLE突变型子宫内膜癌虽然预后极好，但若完全依赖全量分子检测，现实成本较高，而“形态可疑/不典型+p53或MMR亚克隆异常表达”的组合，确实可以富集出大多数POLE突变病例索。 病理AI的切入点在于构建面向POLE送检分流的形态—IHC联合筛查模型，自动识别高等级中不典型或混合形态区域、亚克隆p53/MMR异常模式，并输出POLE高可疑评分，用于在资源受限场景下优化分子检测策略。🔷1043 Composite Score Based on Tumor Stromal Proportion (TSP) and Tumor Buds (TBs) as Prognostic Predictor in Cervical Squamous Cell Carcinoma (SCCA)在宫颈鳞癌中，单独看肿瘤间质比例（TSP）或肿瘤出芽（TB）都不如把二者组合起来更有预后价值。 病理AI的切入点在于构建侵袭前沿TSP与TB联合量化模型，自动识别最具侵袭性的区域、量化间质比例和芽生负荷，并进一步形成类似TSTB的数字化复合评分。🔷1090 Evaluation of Perineural Invasion and its Subcategorization (by Location), in Oral Cavity Squamous Cell Carcinoma and Its Correlation with Other Prognostic Factors, Disease Free Survival and Overall Survival: A Retrospective StudyPNI的另一个典型方向，是不只做检测，还做子分类。比如按位置、按神经大小、按包绕模式、按是否伴神经内浸润来分层。AI非常适合承担这类多层次、重复性差但临床重要的量化任务。🔷1107 Expanding the Histologic Spectrum of Human Papillomavirus (HPV)-Associated Oropharyngeal Carcinoma: A Retrospective Study of 380 Cases Focusing on Classification, Histologic Features, and Their Prognostic SignificanceHPV相关口咽癌并不只是“非角化型鳞癌”这一种经典形态，肿瘤中哪怕只占少量的腺样分化成分或基底样成分，也可能携带独立的不良预后信息。 病理AI的切入点在于构建HPV相关口咽癌细粒度形态成分识别与比例量化模型，自动检出腺样、基底样、乳头状、淋巴上皮样等不同组织学成分及其占比，并进一步形成面向预后分层的数字化形态谱系分析工具。🔷 1116 Evaluation of Collagen Alignment and Histological Features in Different T Stages of HPV Positive Oropharyngeal Squamous Cell Carcinoma这个题目很有启发，因为它把注意力放到了基质结构而非只盯肿瘤细胞。病理AI可以从H&E或特殊染色中量化胶原排列方向性、各向异性、纤维组织组织化程度，并与T stage关联。这类“间质结构量化”可能是被低估的方向。🔷1161 Follicular Lymphoma Grade 3: Reassessing Morphologic Features in the Context of Current Classification Systems滤泡性淋巴瘤3级，尤其是3A、3B以及WHO5新增的FL3U之间的区分，仍然高度依赖主观细胞形态判断，重复性有限。 病理AI的切入点在于构建滤泡性淋巴瘤细胞学分级与弥漫大B细胞成分识别模型，自动量化centroblast密度、大细胞优势程度及弥漫区范围，把原本主观性较强的FL亚型划分转化为更可重复的数字化分层工具。🔷 1163 Post-Induction Bone Marrow Fibrosis: A Potential Prognostic Indicator of Leukemic Clearance and Improved Overall Survival in Acute Myeloid Leukemia骨髓纤维化是很典型、也很适合AI标准化的病理指标。尤其在治疗后骨髓样本中，AI可以帮助把纤维化从传统等级评价推进到更连续、更客观的定量指标。🔷1419 Immune Related Pathological Features and Immune Therapy Predictive Score in Biopsy Predicting the Prognosis of Intrahepatic Cholangiocarcinoma Patients Treated by Combined Immunotherapy Following Radical Resection在iCCA免疫联合转化治疗前的常规H&E活检中，肿瘤浸润淋巴细胞、淋巴细胞聚集、未成熟纤维化和含铁血黄素沉积等免疫相关病理特征，已经能够组合成一个具有预后分层能力的ITPS。 病理AI的切入点在于构建H&E免疫相关特征自动识别与复合评分模型，系统量化这些微环境征象并形成类似ITPS的数字化评分，用于iCCA免疫联合治疗前的疗效分层和预后评估。🔷1420 Tumor Budding in Hepatocellular Carcinoma Patients Treated by Immune Check Point Inhibitor Based Conversion Therapy: Prognostic Value and Its Relationship with Tumor Microenvironment在ICI转化治疗后的肝细胞癌中，tumor budding仍然保留了很强的预后信息。 病理AI的切入点在于构建治疗后HCC的tumor budding自动识别与微环境联合量化模型，在标准化评估TB负荷的同时，进一步整合包膜完整性、病理反应和基质/免疫相关形态特征，用于ICI转化治疗后患者的风险分层与复发预警。🔷1517 Divergent Tumor Morphologies and Stromal Compositions Between Primary and Metastatic Pancreatic Ductal AdenocarcinomasPDAC的原发灶与不同转移部位并不是简单复制关系，尤其肝转移灶会出现更致密活跃的肿瘤腺体、更疏松纤维化且免疫缺陷的间质。 病理AI的切入点在于构建原发—转移灶形态与间质成分对比量化模型，自动识别不同部位PDAC的腺体密度、细胞活性、纤维间质松紧度及免疫相关形态差异，用于转移灶识别、预后分层以及潜在治疗敏感性研究。🔷1524 Optimizing Tumor Epicenter Identification in Whipple Specimens Using the Whole–Mount Axial Sectioning Grossing TechniqueWhipple标本中肿瘤原发部位的判断很大程度上取决于大体取材方式本身，整块轴位切开并全景提交能够更好保留解剖连续性，从而更准确地识别壶腹部或胰内胆总管周围的肿瘤中心，并提高对LVI、PNI等关键病理特征的检出。这更像一个grossing与病理流程优化问题。AI如果切入，可能不是传统显微图像分类，而是联合整片数字病理、取材位点信息甚至大体照片，辅助确定肿瘤epicenter或优化取材路径。🔷1529 Weighted Viable Tumor Percentage Outperforms Alternative Quantitative Methods in Predicting Recurrence of Neoadjuvant-Treated CAP Grade 1-2 Pancreatic Adenocarcinoma这是非常适合病理AI的治疗反应评估问题。重点不是简单地算viable tumor percentage，而是比较不同量化方法，看看哪一种更能预测复发。AI在这里的价值，不只是自动分割和计量，还在于帮助重新定义更合理的病理指标。🔷1595 IMPACTS Study: Independent-validation of Modified Pulmonary Adenocarcinoma Classification on T Stage≤3cm肺腺癌中，决定T分期的间质浸润判断并不是一个稳定的“常识性病理指标”，其重复性高度依赖病例本身的明确程度，而引入改良判读标准和辅助染色虽能改善浸润与肿瘤大小评估，但对塌陷、次要/第三组织学模式等难点仍帮助有限。 病理AI的切入点在于构建肺腺癌浸润识别与分期辅助模型，把当前重复性较差的早期肺腺癌pT评估转化为更标准化、更可重复的数字病理判读工具。🔷 1604 Tumor Spread Through Air Spaces (STAS) Predicts Recurrence in Non-Small Cell Lung Cancer: A Single-Institution Retrospective StudySTAS是非常典型、也非常值得AI介入的方向。因为它既重要，又常常带有定义争议和观察者差异。AI真正有价值的地方，可能不是一句“有 STAS/无STAS”，而是把相关空间结构、分布方式和可疑程度做得更客观。🔷1636 Pathologic Response in Lymph Nodes after Neoadjuvant Therapy in Non-Small Cell Lung Cancer: Tumor Bed Extent, Not Viable Tumor%, Drives Survival Associations在NSCLC新辅助治疗后，淋巴结病理反应的预后意义可能并不主要取决于残余肿瘤比例，而更体现在肿瘤床的范围与大小上，提示淋巴结反应评估不能简单照搬原发灶MPR的思路。 病理AI的切入点在于构建新辅助治疗后淋巴结肿瘤床自动描绘与量化模型，在标准化评估瘤床直径、面积、活肿瘤比例和坏死比例的基础上，与原发灶反应联合建模，用于更准确的术后预后分层和决策支持。🔷1683 Tumor Budding in Colorectal Carcinoma: Between Prognostic Promise and Practical Uncertainty尽管结直肠癌中的肿瘤出芽已经被纳入ITBCC指南和CAP报告体系，但在实际诊断中，不同病理医生在判读标准、计数方法和报告方式上仍存在明显差异。 病理AI的切入点在于构建肿瘤出芽自动识别与标准化分级模型，通过数字化量化提升一致性和可重复性，推动其从“主观性较强的人工指标”向“更可靠的数字病理指标”转变

目前，大多数病理AI研究仍然基于单个时间点的切片进行诊断或预后预测。然而，同一患者在治疗和随访过程中产生的多次病理标本，可能包含着尚未被充分利用的时间信息。近期发表于Advanced Science的一项研究，通过量化膀胱癌患者前后两次H&E切片的细胞核形态变化，探索了利用纵向病理数据描述肿瘤进展的新思路。这项研究的意义或许不仅在于发现了哪些形态学指标，更在于为病理AI提供了一个值得关注的研究方向：从静态识别肿瘤特征，走向动态量化肿瘤变化。一、病理AI为什么总是在分析单个时间点？过去几年，随着病理视觉基础模型和全切片分析技术的发展，病理AI已经能够从常规H&E切片中提取越来越丰富的信息。从肿瘤诊断、组织学分级到基因突变预测、治疗反应及预后评估，绝大多数研究采用的都是相似的技术路线：获取某个时间点的病理切片，提取形态学或深度学习特征，再与临床终点建立关联。这种研究模式取得了不少成果，但存在一个容易被忽视的问题：单个时间点的病理切片只能反映肿瘤在某个时刻的组织学状态，却无法直接告诉我们肿瘤正在如何变化。例如，两个患者的肿瘤可能具有相似的组织学分级和细胞核异型性，但其中一位患者的肿瘤可能长期保持相对稳定，另一位患者则可能在近期出现了明显的形态学改变。仅从当前切片来看，两者可能难以区分，但如果能够获得此前的病理标本，就有机会通过前后的形态变化获得额外信息。实际上，临床诊疗并不总是只产生一次病理标本。对于需要重复活检、手术或长期随访的疾病，同一患者可能积累多个时间点的组织样本。特别是在接受新辅助治疗的肿瘤患者中，治疗前穿刺活检与治疗后手术标本本身就构成了天然的纵向病理数据。遗憾的是，这些来自不同时间点的病理切片，在不少计算病理研究中仍然被当作彼此独立的样本处理，其蕴含的时间变化信息并没有被充分利用。二、研究设计：把两次病理切片组成一个分析单元近日，徐州市中心医院联合东南大学、江苏师范大学等机构的研究团队在Advanced Science发表了一项关于膀胱癌纵向数字病理分析的研究。研究利用同一患者不同时间点的H&E病理切片，量化细胞核形态的动态变化，并探索这些变化与肿瘤进展之间的关系，为利用连续病理标本研究肿瘤演变提供了新的思路。膀胱癌是开展此类研究比较合适的疾病，因为部分患者，尤其是非肌层浸润性膀胱癌患者，在临床随访过程中会接受重复膀胱镜检查、经尿道肿瘤切除或活检，因而能够形成多个时间点的病理样本。研究者将同一患者较早获取的病理标本定义为T0，较晚获取的标本定义为T1，通过计算两个时间点之间的形态学特征差值，量化肿瘤随时间发生的变化。经过病例筛选和质量控制，研究建立了两个独立的纵向配对队列。其中，中心1作为发现队列，包含86名患者的86对病理切片，涉及35例进展和51例未进展患者；中心2作为独立验证队列，包含96名患者的96对切片，涉及38例进展和58例未进展患者。两个队列的T0至T1中位间隔分别为16个月和12.5个月。研究根据配对期间记录的病理学恶化情况确定进展状态，而单纯肿瘤复发、没有明确病理学进展的病例仍归入未进展组。此外，研究还使用了来自四家医院的1977张H&E全切片图像，建立传统单时间点病理AI分析的参照，并利用TCGA膀胱癌队列进行分子生物学关联分析。不过，这些数据与182对纵向病理样本属于不同的分析部分，并不能都视为纵向研究的验证数据。这项研究在数据组织上的一个关键变化，是不再将每张WSI简单视为独立样本，而是把同一患者的T0和T1组成一个配对分析单元。三、如何量化两个时间点之间的病理形态变化？虽然研究提出了纵向数字病理的概念，但核心技术并不复杂，也没有开发特别新颖的深度学习架构。其主要思路是通过现有的细胞核分割技术，从两个时间点的H&E切片中提取可解释的形态学指标，再计算前后的差异。首先，研究利用Cellpose对全切片中的细胞核进行实例分割，并提取核面积、等效直径、长短轴比例、圆形度和实心度等特征。其中，等效直径并非独立测量的核直径，而是根据核面积换算得到的等面积圆直径。随后，研究将细胞核特征汇总至局部组织区域及切片层面，从细胞核大小、形状规则性、局部细胞数量和空间组织结构等维度描述病理形态。值得注意的是，研究不仅分析整张切片的平均核形态，还利用500微米的空间网格，分析不同组织区域中细胞核大小及数量的分布情况。这使研究者能够进一步判断，所谓的形态变化究竟只是少数局部区域出现异常，还是在更大范围内发生了分布性改变。完成两个时间点的特征提取后，作者使用一个相当直接的方式计算纵向变化：用T1的特征值减去T0的特征值。这意味着，如果某个患者的平均细胞核面积在T1大于T0，那么该指标的变化量为正；反之则为负。与传统单时间点研究相比，这种分析的区别不仅在于多使用了一张切片，而在于把研究对象从某个时间点的绝对形态特征，转变为同一患者的形态变化方向及幅度。另外需要说明的是，T0与T1来自不同时间的独立病理标本，并不是对同一组织区域进行精确配准。因此，研究并没有追踪某个具体细胞核如何变化，而是比较两个时间点整体细胞核形态及其空间分布的统计差异。四、主要发现：肿瘤进展伴随着细胞核大小的纵向变化通过比较进展组与未进展组的纵向形态特征，研究者发现，细胞核大小的变化是其中比较突出的信号。在18项两个中心共有的纵向特征中，有11项表现出相同方向的进展关联，但具体效应强度存在明显的中心差异。尤其是在独立验证队列中，细胞核等效直径和核面积的变化与病理进展显著相关。平均等效核直径变化的标准化效应量为0.72，平均核面积变化的效应量为0.68，两项指标经多重检验校正后的FDR均为0.0039。进一步观察两个时间点的变化轨迹，可以发现，进展组的平均核直径和核面积总体呈现上升趋势，而未进展组则呈现下降趋势。这说明，与其仅仅考察某张切片中的细胞核是否较大，考察同一患者的细胞核是否在不同时间点之间出现了增大的趋势，也可能具有临床意义。当然，这项发现并不是在两个中心都得到了同等强度的验证。中心1中对应的核大小变化效应较弱，未达到统计学显著性。作者进一步开展了限定肿瘤区域、调整治疗因素、改变细胞核分割参数，以及采用更严格病理进展定义等敏感性分析，中心2的主要结果依然成立。例如，仅将病理分期升高视为进展，而不将单纯分级升高纳入进展时，中心2的核直径变化仍然具有统计学意义。这在一定程度上降低了研究结果仅仅来自组织学分级定义与细胞核异型性相互重叠的可能性。不过，中心之间效应强度不一致，也提示这些纵向特征仍然受到组织取样、病例构成和技术差异的影响。不只是平均核大小发生变化，空间分布也在改变。为了进一步理解核大小变化的组织学分布，研究者还分析了500微米空间网格中的细胞核面积分布。研究发现，在进展患者中，细胞核面积增大的现象并不局限于某几个局部区域，而是在更广泛的组织空间分布中表现出来。其中，反映核面积分布整体上移的指标具有较明显的组间差异，效应量达到0.80，FDR为0.007。这一结果提示，纵向病理变化不仅可以表现为某个平均特征值的改变，也可能体现为组织内某类形态学表型的整体分布发生变化。对于计算病理而言，这一点值得关注。未来进行纵向研究时，除了比较两个时间点的平均特征，还可以进一步分析肿瘤亚区域比例、细胞群组成、局部空间结构及不同组织学表型的分布变化。五、这些形态变化是否具有生物学意义？仅仅观察到形态学特征在不同时间点发生变化，还不足以说明这些变化能够反映真实的肿瘤生物学演变。因此，作者进一步引入了Ki-67免疫组化和TCGA转录组数据，为研究结果提供补充证据。在中心2具有Ki-67数据的病例中，研究发现T1的Ki-67指数与核大小变化相关指标之间存在一定的正相关，相关系数为0.267，P值为0.0468。对于同时具有T0和T1 Ki-67检测结果的28例患者，进展组的Ki-67变化量也显著高于未进展组。这一发现提示，细胞核形态变化可能与肿瘤细胞增殖活性的改变具有一定联系。不过，相关程度并不强，而且样本量较小，因此更适合作为支持性证据。另一方面，研究使用TCGA膀胱癌数据，分析从H&E中提取的核大小相关形态学指标与转录组特征之间的关联。结果显示，核大小相关指标与CD8 T细胞活性、细胞毒性、干扰素反应等多种免疫相关转录组特征呈负相关。这些结果为理解核形态与肿瘤生物学状态之间的联系提供了线索，但需要强调，TCGA分析使用的是单时间点数据，并没有验证同一患者前后两次切片的分子状态如何变化。因此，目前还不能据此确认核大小变化与免疫微环境演变之间存在明确的机制联系。六、与纵向分析形成对照：单时间点病理AI模型表现如何？前面的分析表明，同一患者在不同时间点的病理形态变化可能包含与肿瘤进展相关的信息。那么，相比之下，传统的单时间点病理AI模型又能够从切片中获得哪些信息？为此，作者还利用来自四家医院的1977张H&E全切片图像，开展了单时间点病理AI建模分析，分别比较了仅使用临床信息、仅使用UNI2病理基础模型特征，以及临床与病理特征融合的模型表现。在中心1的内部验证中，三种模型的AUC分别为0.72、0.69和0.75，融合模型表现最好。但当训练好的模型直接应用于其他三个中心时，融合模型的AUC分别为0.65、0.78和0.61，表现出明显的跨中心差异。此外，融合模型还能够对患者的无复发生存期进行风险分层，在中心1和合并外部验证队列中的风险比（HR）分别为5.18和2.22。这些结果说明，单时间点病理切片本身已经能够提供一定的临床风险信息，但模型的跨中心泛化能力仍然存在挑战。不过，需要注意的是，这部分研究与前面的纵向形态分析实际上回答了不同的问题。单时间点模型主要评估患者的复发风险，而纵向分析关注的是同一患者前后两次病理标本的形态变化及其与病理进展的关联。作者并没有在相同的临床终点上直接比较两种方法，因此尚不能证明纵向形态特征能够提供超越单时间点模型的预测价值。从这个角度来看，本文的意义并不是证明两张切片一定比一张切片预测得更准确，而是尝试从连续病理标本中提取单张切片无法直接描述的时间变化信息。 至于这些纵向变化是否能够为现有病理AI模型带来额外的临床价值，仍然需要后续研究进一步验证。七、这项研究真正值得关注的是什么？如果只从技术角度来看，这项研究所使用的Cellpose分割、形态学特征提取和统计比较，都不是特别新颖的方法。论文的创新性更多体现在研究问题和数据组织方式上。1. 从静态表型识别走向纵向变化量化传统病理AI更关注某个时间点的病理状态，例如切片中是否存在高危形态学特征，或者这些特征与患者预后之间有什么关系。纵向分析则进一步提出了另一个问题：同一患者的病理表型在一段时间内发生了哪些变化，这些变化又与疾病进展或治疗反应存在什么关系？这两类问题并不相同，也未必能够被同一种模型完全解决。特别是对于具有连续病理样本的疾病，患者自身的早期样本可以提供一个个体化的参照。即使两名患者在后一个时间点具有相似的病理形态，他们相对于各自早期状态的变化幅度，也可能完全不同。这种思路有机会使病理AI从单纯识别高风险形态，进一步发展到描述肿瘤表型的动态变化。2. 不一定需要复杂的新模型，也可以提出有价值的病理AI问题当前病理AI研究正在快速引入新的视觉基础模型、多模态融合架构和复杂的弱监督学习方法。相比之下，这项研究最核心的纵向分析，使用的是可以直接解释的细胞核形态学特征及其前后差值。这提醒我们，病理AI研究的创新并不一定需要开发全新的模型结构。合理利用现有数据、重新定义分析单元，以及提出具有临床意义的新问题，同样可能产生有价值的研究结果。当然，使用简单方法证明纵向变化可以被量化，只是第一步。这项研究尚未证明，纵向形态学特征能够提供超越单时间点病理指标的独立临床预测价值。3. 纵向病理分析还有不少值得解决的方法学问题尽管研究思路具有启发性，但真正开展高质量的纵向病理AI研究仍然面临一些挑战。首先，不同时间点的病理标本往往来自不同取样部位，组织成分、肿瘤比例及标本类型也可能存在明显差异。因此，观察到的形态变化不一定全部来自肿瘤生物学演变，还可能包含取样偏差。其次，治疗本身也会导致组织学改变。如果研究对象是治疗前后标本，那么肿瘤细胞消失、纤维化、炎症浸润及坏死比例变化，都可能成为重要的纵向信号。此时必须区分治疗诱导的变化、疾病自然进展，以及不同标本类型带来的差异。另外，这篇论文主要研究的是已经发生的病理进展与前后形态变化之间的关联，而不是在T0预测未来是否进展。只有获得T1切片后，才能计算完整的T1-T0变化量。因此，这种方法更接近于对疾病演变进行量化描述，而不能直接等同于提前预测进展风险。未来如果希望将纵向病理特征用于临床预测，还需要进一步明确预测的时间点和临床终点，例如利用T0和T1之间的变化，预测T1之后的复发或生存结局，并证明这些变化特征较单时间点模型具有额外价值。八、纵向病理AI，可能是一个值得进一步探索的研究方向从更广泛的角度来看，膀胱癌并不是唯一具有纵向病理数据的疾病。在乳腺癌、食管癌等接受新辅助治疗的患者中，治疗前穿刺活检与治疗后手术标本可以构成天然的配对数据。通过量化前后肿瘤细胞形态、组织结构、肿瘤间质比例及免疫细胞空间分布的变化，可以尝试建立更全面的病理疗效表征，并进一步研究这些变化与远期复发或生存结局之间的关系。对于炎症性肠病等需要长期组织学监测的疾病，不同随访时间点的活检标本同样可能用于量化炎症细胞浸润、腺体结构损伤及组织修复的动态变化。此外，随着病理视觉基础模型的发展，纵向病理分析也未必需要局限于人工定义的核面积、形状及密度等特征。未来可以利用基础模型分别提取不同时间点的组织表征，再通过特征差异、跨时间点交互建模等方法，学习传统病理组学指标难以描述的复杂形态变化。不过，基础模型能否真正学习到有生物学意义的时间变化，而不是放大不同时间点之间的染色、取样和扫描差异，仍然需要专门的研究设计与验证。从这个意义上说，纵向病理AI的价值，可能不在于简单地把两张WSI输入同一个模型，而在于如何建立一个能够区分真实组织学变化与技术、取样差异的量化框架。这篇Advanced Science研究还不能证明纵向病理分析一定优于传统的单时间点模型，其核心发现也需要在更大规模、取样更规范的独立队列中进一步验证。但它提供了一个值得关注的研究视角：临床长期积累的连续病理标本，除了用于每一次独立的诊断，是否还能够被重新组织起来，成为研究疾病演变的纵向数据资源？当越来越多的研究致力于从一张切片中提取更多信息时，或许也值得思考另一个问题：相比不断提高单张切片的特征提取能力，我们是否也应该开始关注同一患者不同时间点的病理切片之间，究竟发生了什么变化？