• [实践案例] 【案例分享】医疗AI使能平台端云协同实践:完整SVS切片推理流程、报告查看与输入问题排查
    本次实践围绕医疗AI使能平台(智慧病理)的首次使用流程,记录云端上传、客户端目录配置、阅片及推理任务排查。华为云账号 hid_tzikpp2eq222pe5。一、实践背景最近体验了华为云医疗AI使能平台的智慧病理功能。本次使用OpenSlide提供的公开病理切片,通过平台预置的乳腺癌体验模型,尝试完成从本地切片管理、创建任务到查看处理进度和报告的流程。本次主要关注客户端的操作流程和结果展示方式,使用预置模型进行体验,没有进行专属模型训练。公开样本与乳腺癌模型的适配性未经验证,因此本文记录的是软件流程体验。二、准备完整病理切片本次使用的文件为 CMU-1.svs,大小约169.33 MB,来自OpenSlide公开测试数据。最初,我尝试使用约1.85 MB的 CMU-1-Small-Region.svs。虽然能够打开图像阅片,但推理时提示切片只有1个分辨率层级,至少需要2个,并要求使用完整全切片文件。因此,我改用了完整的 CMU-1.svs 继续体验。完成客户端登录后,在“系统—我的账号”中配置切片目录,再进入“病理图像管理—本地图像”,确认文件已经被识别。列表中可以看到两个文件,选择完整的 CMU-1.svs,点击右侧“AI推理”。  三、选择预置模型与推理服务进入任务创建页面后,填写病理号 PUBLIC-EDGE-FULL-20261114,点击模型选择入口。在“预置模型”中选择“病理体验模型-乳腺癌”,再勾选免费资源池中的“预置-乳腺癌”服务,点击“确定”。  四、核对切片并创建任务选择模型后,继续核对切片名称、切片号和切片部位。本次使用的切片名称为 CMU-1.svs,切片号为 1。实际运行时,我将自定义切片部位填写为“公开完整切片流程测试”,用于标识本次测试。确认配置后,点击“立即创建”。下图是为说明操作步骤重新打开的配置页面,其中部位栏仍显示默认值。  创建任务后,进入“病理模型推理”列表,可以找到本次任务。列表中也保留了之前使用裁剪切片的尝试,便于对照两次任务的状态。点击本次完整切片任务的病理号,进入推理详情页面。 五、查看切片与处理进度进入详情页面后,可以查看完整切片图像。查看器提供倍率、缩放和导航缩略图,方便浏览切片的不同区域。点击“处理详细进度”,本次任务的进度显示为100%,并依次记录了本地识别、预处理、区域上传、云端推理和结果回传等阶段。页面显示,本地识别耗时19.61秒,本地预处理15.04秒,区域上传36.25秒,云端精准推理17.63秒,结果回传88.75秒。同时,平台显示本次节约流量95%,161.22 MB免上传。这些数据来自本次任务的页面记录,实际耗时会受到文件和运行环境等因素影响。 六、预览推理报告点击右上角“预览推理结果”,可以查看病理号、任务信息、切片数量和生成时间。页面还提供了“下载结果”入口。本次报告包含1张切片,“有无肿瘤”一栏显示为“-”。处理进度显示结果已回传,但报告没有给出明确的阳性或阴性结论。本文如实记录这一界面反馈,未对“-”的含义作进一步判断。结果预览页面也提示,内容由AI生成,需要医生加以鉴别。  七、体验感受与建议通过这次体验,我完成了从本地切片识别、选择预置模型、创建任务,到查看处理进度和预览报告的流程。让我印象较深的是,切片能够打开阅片,并不一定满足推理输入要求。最初使用裁剪样本时遇到了分辨率层级不足的提示,换成完整切片后,才继续完成了端云协同处理。这也让我对完整全切片与裁剪样本的区别有了更直观的认识。平台将模型、服务和切片设置集中在任务创建页面中,能够按步骤完成操作。处理详细进度还展示了不同阶段及耗时,方便判断任务运行到了哪一步。希望平台后续能在选择文件时提前检查分辨率层级,并提供注明组织类型和适用模型的公开体验样本。对于报告中显示“-”的情况,也希望增加原因说明和后续操作指引,帮助初次使用者理解结果。八、小结这次实践让我对数字病理有了更具体的认识。一张完整的数字切片可以在浏览器中缩放、浏览不同区域,并通过预置模型启动推理流程。遇到输入问题后,结合页面提示更换文件,也让我逐步熟悉了平台的使用要求。本次完整切片任务的处理进度达到100%,报告预览能够正常打开,其中“有无肿瘤”仍显示为“-”。从准备数据到查看页面反馈,整个体验过程让我看到了医疗AI工具的操作方式,也发现了样本选择和结果说明对初次使用者的重要性。期待平台继续完善体验样本、输入校验和结果提示,让更多人能够通过实际操作了解智慧病理。
  • [实践案例] 【案例分享】从一张乳腺切片到推理报告:医疗AI使能平台云端实践
    病理模型的在线体验,从哪里开始比较顺手?这次用一张公开乳腺病理切片,在医疗AI使能平台上走完了模型选择、任务创建、进度查看、在线阅片和报告预览。整个过程围绕一个具体任务展开,下面把配置方法和实际看到的结果整理出来。本次使用平台的乳腺癌预置模型和免费资源池。准备好一张SVS切片后,就可以从浏览器进入流程;任务完成后,还能在同一个页面继续看切片、切换视野和查看报告。1. 先准备一张合适的切片测试环境是Windows和Edge浏览器,区域选择“西南-贵阳一”。输入数据来自NCI Genomic Data Commons的TCGA-BRCA公开数据集,文件类型为Diagnostic Slide、SVS格式,大小25,565,706字节,约25.6MB。下载后核对了GDC提供的MD5。数据来源:NCI GDC的TCGA-OL-A5RW公开乳腺诊断切片,文件ID:f2d5aa37-d9ce-4264-a447-fc69dd0d7d85。本次体验的是云端预置模型推理。这张切片的原图尺寸为12,879×13,618像素。选择轻量的公开样例,既方便下载和上传,也能保留后续缩放阅片的操作过程。准备数据时,建议把来源链接与文件放在一起,后续整理记录时就能准确说明使用了什么数据。2. 进入推理入口,选择预置模型登录平台后,从左侧“病理模型推理”进入,点击“创建模型推理任务”。图1:从总览进入病理模型推理模型选择窗口分为模型和服务两部分。先在左侧选择“病理体验模型-乳腺癌”,再勾选右侧的“预置-乳腺癌”服务。页面标注“免费资源池”,确认已选中服务后,再点击“确定”。这个步骤里,模型名称和实际调用的服务需要一起核对。图2:选择乳腺癌体验模型和免费资源池3. 填写任务信息并选择SVS文件病理号填写为PUBLIC-BRCA-DEMO-20261113,方便后面在列表中找到。选好模型后,页面自动带出乳腺癌规则库。创建前可以把病理号、模型和规则库一起检查一遍,避免任务运行后才发现选错配置。图3:填写任务信息,确认模型与规则库切片来源选“本地图像”,上传准备好的SVS文件。当前页面的本地上传入口一次可选1张、单张不超过5GB;这次只上传一张25.6MB的样例。切片号保留数字1,切片部位填写“乳腺”。确认后点击“立即创建”。图4:选择公开切片,填写切片号与部位4. 检查任务状态和处理进度回到云上任务列表,可以看到这条任务,状态为“推理成功”,使用的模型、服务、切片数量和数据来源也列在同一行。列表很适合用来核对任务有没有完成;进入“查看推理结果”后,再检查切片画面和具体输出。以后重看这次结果,可以直接从列表进入原任务。图5:任务列表中确认推理成功进入结果页,鼠标放到“处理详细进度”上,可以查看开始推理、图像预处理和精准推理等环节。本次页面显示“精准推理完成,耗时5.00秒”,这是该处理阶段显示的耗时。图6:查看详细处理进度5. 展开结果,体验阅片操作这张样例的“有无肿瘤”输出为“+”;展开“组织学类型”后,页面显示“存疑”。这里按实际输出记录。图7:展开两项任务,查看实际输出阅片时,先看整张切片的位置关系,再点击右侧10x按钮进入局部视野。右下角的小图会标出当前位置,放大后仍能知道正在看哪一块区域。第一次操作时,把缩略图和主视图配合起来看,比一直放大后反复拖动更容易定位。图8:10倍视野下查看局部右上角可以开启热力图,在同一张切片上切换显示状态。建议在相同位置、相同倍率下切换,观察显示变化;这样也方便保存一组能够相互对照的操作截图。图9:开启热力图显示6. 查看报告时发现一个可改进的细节点击“预览推理结果”,可以看到任务信息和结果,也能找到“下载结果”入口。不过,详情页明明显示“组织学类型:存疑”,报告预览的对应栏却是空白。建议报告同步显示“存疑”,让两处信息保持一致。图10:报告预览中,组织学类型对应栏为空7. 这次体验的两点建议一是提供一份小于50MB、可直接下载的官方脱敏SVS示例,最好支持一键导入。首次体验时,找到合适的病理切片比创建任务更费时间。二是统一详情页和报告中的状态展示,尤其是“存疑”这类结果,保留明确文字比留空更容易理解。这次跑通了“选择切片—创建推理—查看进度—阅片—预览报告”的流程。入口集中、预置模型选择简单,配上轻量示例和一致的报告展示,新用户会更容易完成第一次体验。
  • [智慧病理] Cancer Cell:集成五个基础模型读一张切片,性能提升值得算力代价吗?
    一、最值得关注的地方:基础模型越来越多之后,我们还需要继续寻找“唯一最优”吗?这项研究最值得关注的,并不是作者把五个病理基础模型组合在一起,也不是ELF在多少项任务中取得了更高的性能,而是它提出了一个基础模型时代越来越现实的问题:当不同模型各有所长、没有任何一个模型能够稳定赢下所有任务时,我们究竟应该继续寻找那个“最好的基础模型”,还是应该学习如何利用它们之间的差异?ELF选择了后者。它不再把UNI、CONCH、Virchow2等模型看作相互竞争的替代品,而是把它们视为观察同一张病理切片的不同视角,再通过切片级预训练将这些视角组织成统一表征。这个思路意味着,病理基础模型的发展可能正在进入新的阶段:研究重点不再只是训练一个更大的图像编码器,也开始转向如何选择、组合和复用已经存在的模型。从这个角度看,ELF的意义并不主要来自“集成”本身。模型集成早已不是新概念,多个特征的拼接也谈不上方法学突破。它真正向前推进的一步,是把原本需要在每个具体任务中重新学习的切片级融合,提前放进大规模预训练,让下游任务只需使用一个相对简单的预测头。这相当于把研究问题从“如何针对一个任务训练MIL”,改成了“能否预训练一个可以迁移到不同任务的切片阅读方式”。但这项工作也暴露出一个无法回避的矛盾:ELF在表征层面把五个模型整合成了一个统一结果,在计算层面却没有真正把五个模型变成一个模型。每次分析新切片时,五个基础模型仍然需要全部参与特征提取。因此,评价ELF不能只看它是否提高了AUC,还要看这种提升是否足以抵偿额外的计算、硬件与部署成本。它证明了多模型表征可以被有效整合,却还没有完全证明这种整合方式就是临床或常规科研应用中的最优选择。这也是本文最值得讨论的地方:ELF一方面展示了基础模型集成可能带来的表征上限,另一方面也提醒我们,基础模型时代真正稀缺的也许不再只是性能,而是能够在性能、数据效率和计算成本之间取得平衡的方法。 二、研究背景与问题定义近年来,病理基础模型迅速增加。不同模型使用的数据来源、预训练目标、图像倍率和模型结构并不相同,因此在不同任务上的表现也不稳定。一个模型可能擅长组织分型,另一个模型可能更容易捕捉肿瘤微环境或分子相关形态。已有基准研究反复表明,并不存在一个在所有任务上始终领先的病理基础模型。这给实际使用带来了一个很直接的问题:面对一个新的研究任务,应该选择UNI、CONCH、Virchow2,还是H-Optimus?一种思路是知识蒸馏,即让一个学生模型学习多个教师模型。但蒸馏通常希望把多个模型压缩成一个相对一致的表征,可能同时抹平模型之间有价值的差异。另一种思路是直接拼接多个模型的特征,再为具体任务训练MIL,但这种方法会增加特征维度,也需要足够多的任务标签来学习融合权重。ELF试图在两者之间找到第三条路:保留不同基础模型各自的表征,不把它们压缩成一个新的Patch级基础模型;同时利用大规模预训练,提前学好切片级聚合,减少每个下游任务重新训练MIL的需要。因此,这项研究真正重新定义的问题是:能否在不重新训练Patch基础模型的情况下,利用已有基础模型之间的差异,预训练一个可迁移的切片级基础模型?这个问题本身是有价值的。随着基础模型越来越多,未来病理AI的重点未必一直是训练更大的视觉编码器,也可能转向如何选择、组织和复用已有模型。 三、方法学拆解1. 五个基础模型并不是在最后简单投票作者首先在10倍倍率下切取组织图块,然后分别使用UNI、CONCH v1.5、GigaPath、Virchow2和H-Optimus-0提取特征。这些模型的特征维度并不相同,从768维到1536维不等。ELF没有直接在patch层面粗暴地拼接所有特征。它先把不同模型的特征临时调整到统一的768维空间,用一个共享的八头注意力模块学习哪些图块更值得关注;得到注意力权重后,再用这些权重聚合各基础模型原始维度的特征。也就是说,统一维度主要用来学习“看哪里”,最终保留下来的仍然是各模型原有的特征内容。五组切片级特征最后再进行拼接,形成统一的ELF表征。这一设计有一点巧思:它试图共享切片阅读逻辑,又不完全抹掉各基础模型的个性。与零填充、掩码或为每个模型单独学习投影相比,这种“统一计算注意力、保留原始特征”的方式总体表现更好。不过,从系统角度看,ELF最终仍然依赖五套特征。它更像一个位于多个基础模型之上的元编码器,而不是能够独立替代五个模型的新基础模型。2. 真正的方法学增量在预训练逻辑ELF使用了两类对比关系。第一类是跨模型一致性:同一块组织经过不同基础模型编码后,被视为一对正样本。模型由此学习,不管底层特征来自UNI还是Virchow2,同一组织区域在切片级语义上都应该保持一致。第二类是空间一致性:同一张切片中相互重叠的两个区域被视为正样本,而相距较远、没有重叠的区域则构成负样本。这样可以避免模型只学习“来自同一张切片”,而忽略不同空间区域之间的形态差异。在此基础上,作者又加入了两项弱监督任务:判断切片是肿瘤还是非肿瘤,以及判断组织来自哪个器官。它们不需要精细标注,却为对比学习提供了较为明确的病理语义。这一部分才是ELF最值得肯定的地方。它没有仅仅依赖无监督对齐,而是把跨模型一致性、空间差异和粗粒度临床标签组合起来,使切片级表征既不过度依赖某一个基础模型,又不至于变成缺少语义方向的平均特征。作者最终使用来自11个公开数据集、覆盖20个解剖部位的53,699张切片进行预训练,训练持续300个epoch,使用8张H100显卡。下游任务中,ELF编码器被冻结,只训练逻辑回归等简单预测头。因而论文测试的核心不是端到端微调能力,而是冻结表征是否足够可迁移。3. “0.15M参数”不能代表整个系统的体量作者强调ELF切片编码器只有约15万个参数,少于COBRAII、TITAN和Prov-GigaPath的切片编码器。单看新增的聚合模块,这个数字没有问题。但临床部署关注的不是新增模块有多小,而是完成一次预测需要加载和运行多少模型。ELF的15万参数并不包含五个被冻结的patch基础模型。把它称为一个轻量切片编码器可以,把整个系统理解成只有15万参数,则会严重低估实际计算和部署复杂度。这也揭示了ELF的一个基本特征:它降低的是下游训练成本,而不是端到端推理成本。 四、结果与验证表现1. 诊断任务:部分提升明确,但不是所有任务都大幅领先在BCCC、BRACS和EBRAINS的六项疾病分型任务中,ELF总体优于Prov-GigaPath、CHIEF和TITAN。相对于表现第二的TITAN,平均提升约2.2个百分点。在较困难的BRACS七分类任务中,ELF的平衡准确率为0.457,TITAN为0.393;但在EBRAINS 30分类任务中,ELF为0.757,TITAN已经达到0.749,差距不到一个百分点。作者通过t-SNE展示了ELF对不同脑肿瘤亚型更清晰的聚类结果,并发现不同基础模型生成的注意力图和切片表征相关性较低。不过,低相关性只能说明不同模型“不一样”,并不能自动证明这些差异都是互补且有用的。真正更有说服力的证据来自集成数量实验:随着基础模型从一个增加到五个,六项任务的平均平衡准确率从0.741提高到0.778,但四个模型时已经达到0.767,第五个模型只增加约0.011,收益开始明显饱和。而且,单模型位置代表五种单模型组合的平均表现,并不是针对每个任务选择出的最佳单模型。因此,这条曲线证明了“平均而言增加模型有帮助”,还不能直接证明“五模型方案优于经过合理选择的单模型或双模型方案”。预训练数据也呈现类似趋势。数据量从5,000张增加到53,699张时,平均平衡准确率由0.748上升至0.778,主要收益在较早阶段已经出现。这说明ELF的价值可能更多来自跨模型监督设计,而不只是预训练数据规模。 2. 分子标志物:覆盖面很广,但平均增益并不算大在TCGA的84个“肿瘤类型—分子标志物”组合中,ELF平均AUC为0.719,优于TITAN的0.701、Prov-GigaPath的0.678和CHIEF的0.676。部分具体任务的AUC超过0.85,包括甲状腺癌和结直肠癌中的BRAF、肺癌中的KRAS和ROS1,以及脑胶质瘤中的IDH1和FGFR3等。在结直肠癌外部验证中,ELF对BRAF突变的四队列平均AUC为0.806,对微卫星不稳定性的平均AUC为0.886,并在三个外部队列中保持了相对稳定的表现。对于非整倍体评分回归和全基因组加倍预测,ELF同样取得了最好的结果。这些结果证明ELF表征具有较好的任务覆盖能力,但0.719相对于0.701的平均AUC提升仍然有限。少数高性能任务也不能代表全部84个组合,因为不同癌种、不同基因的可预测性差异很大。此外,论文的预训练数据中包含部分TCGA癌种,而后续分子标志物评估也使用了TCGA切片。预训练阶段没有使用分子标签,因此这不属于直接的标签泄漏;但部分评估图像可能已经以无标签或器官标签形式参与过预训练,因而不能完全等同于严格意义上的“从未见过的外部图像”。“125项任务”体现的是任务覆盖面,而不是125次彼此独立的外部验证。 3. 治疗反应:临床问题重要,但关键对照仍然不够在四个化疗和靶向治疗队列中,ELF的平均AUC为0.759,高于Prov-GigaPath的0.698、CHIEF的0.704和TITAN的0.646。在IMPRESS外部队列中,ELF预测新辅助化疗病理完全缓解的AUC为0.668,预测曲妥珠单抗疗效的AUC为0.662;加入CD8信息后,AUC分别提高到0.743和0.759。免疫治疗部分覆盖13个队列、8类肿瘤,ELF平均AUC为0.724,优于三个切片级基础模型的0.612至0.664。在较大的MSKCC非小细胞肺癌外部队列中,ELF单独预测持久缓解的AUC为0.640;与PD-L1和肿瘤突变负荷结合后提高到0.722。锁定阈值后,组合模型的敏感度为0.86,但特异度只有0.44,阳性预测值为0.48,阴性预测值为0.84。这些结果更适合被理解为风险富集或辅助分层信号,还不足以单独指导用药。多数队列为回顾性研究,部分外部队列只有30至60余例,而且不同队列对“治疗反应”的定义并不完全相同。模型是在接受治疗的患者中预测缓解或生存结局,并没有通过治疗组与对照组之间的交互作用证明它是严格意义上的治疗预测性标志物。更关键的是,治疗反应预测正是作者所强调的“小样本、适合预训练切片模型”的场景,但这里缺少与强任务特异性MIL的系统比较。研究并没有全面回答:如果选择一个合适的补patch基础模型,在相同患者数据上专门训练ABMIL或其他MIL方法,性能是否真的不如ELF?论文因此证明了ELF优于若干冻结的切片级表征,却还没有充分证明它优于临床项目中常见的“选择一个强patch基础模型,再针对具体终点优化切片融合”的路线。 五、讨论和总结ELF是一项有方法学价值的工作。它提醒我们,在病理基础模型越来越多以后,研究重点未必只能是继续训练更大的模型,也可以转向如何复用已有模型之间的差异。跨模型、跨区域对比学习,加上器官和肿瘤标签的弱监督,使切片级融合不再完全依赖某个下游任务。这一训练思路比简单特征拼接更值得关注。但ELF尚未证明“五个基础模型同时运行”是临床部署中的合理答案。串行推理约14分钟,代表的总计算量约为单个特征提取器的4至6倍;使用五张显卡可以把等待时间压缩到3.5分钟左右,但一张显卡运行单个模型原本也只需要2至3分钟。作者以常规病理制片需要数小时甚至数天为依据,认为这一延迟处于临床可接受范围,但临床系统真正面对的是日均数十至数百张切片的吞吐量、显卡占用、任务排队、运维复杂度和能耗,而不只是单张切片的等待时间。如果还要缓存五套特征,存储开销也会同步增加。因此,更公平的下一步验证应当是一条性能—成本曲线:在同一任务上,比较最佳单模型、双模型或三模型组合、五模型ELF,以及单模型加任务特异性MIL;同时比较不同标签量下的性能,验证ELF是否真的更节省下游标注。论文既然把“数据效率”作为核心优势,就尤其需要展示在10%、25%、50%和100%训练数据下,ELF与任务特异性MIL的学习曲线,而不是只使用完整数据给出最终AUC。从临床转化角度看,更值得期待的可能也不是无限增加基础模型,而是先利用多模型集成获得更强的教师表征,再把知识蒸馏到一个可独立运行的学生模型;或者训练一个动态路由器,根据任务和切片特点只调用最需要的一至两个基础模型。这样才能把多模型带来的表征收益,转化为可接受的临床计算成本。如果是在科研平台中,一张切片的五套特征可以被多个研究任务反复调用,那么前期计算成本尚可被摊薄;但如果只是为一个确定的临床终点部署单一算法,ELF目前带来的性能增益,是否值得长期运行五个基础模型,仍然需要逐个任务计算这笔账。所以,这项工作的最大价值并不是证明“模型越多越好”,而是把一个重要方向摆到了台面上:病理基础模型之间的差异能否被系统利用,并转化为可迁移的切片级表征。ELF证明了这件事在方法上可行,也显示了跨模型预训练的潜力;但它还没有证明,这就是效率最优、成本合理、可以直接进入临床的最终形态。  本文章转载自微信公众号:AI病理视界
  • [智慧病理] Advanced Science:多模态训练、病理单模态预测,如何突破真实世界的缺失模态难题?
    一、多模态模型的一个现实矛盾:预测性能提高了,能使用的患者却可能减少目前,许多多模态病理AI研究采用相似的技术路线:使用病理基础模型提取全切片图像特征,再与基因组学、临床指标或影像特征进行融合,最终预测患者的预后、治疗反应或分子状态。从技术角度看,这种设计具有明确的合理性。病理图像反映组织形态及肿瘤微环境,基因组学描述分子改变,临床信息则提供患者的疾病分期、治疗过程等背景。不同模态之间具有互补价值。但这些研究往往基于一个隐含前提:训练和预测时,患者都具有相同的完整模态。这与真实临床环境存在明显差异。以基因组学为例,部分患者可能因为费用、样本质量、检测条件等原因没有接受完整分子检测;部分早期患者也可能不需要进行全面的基因检测。此外,既往患者的临床记录未必完整,不同医院采集的指标也未必一致。如果一个模型需要同时输入病理、基因和临床信息才能使用,那么只要其中一个模态缺失,患者就可能无法获得预测结果。因此,评价多模态AI的临床价值,不能只关注完整数据患者中的预测准确率,还应考虑模型能够覆盖多少真实患者。一个在完整数据集上表现优秀、却只能服务少数患者的模型,未必比一个准确率稍低、但能覆盖绝大多数患者的模型具有更大的临床价值。在这一背景下,缺失模态处理不再只是一个技术细节,而是决定多模态AI能否广泛落地的重要问题。 二、DAIMS的核心设计:让病理图像学习其他模态的信息研究团队提出的DAIMS,全称为Domain-Adaptive Incomplete Multimodal Stratification,即具有域适配能力的缺失多模态风险分层框架。研究使用了三个结直肠癌患者队列,包括351例TCGA患者、420例中国F1CRC患者,以及422例英国SURGEN患者,总计1193例。TCGA作为主要训练队列,具有病理图像、基因组学和临床报告数据;另外两个队列主要用于病理单模态条件下的跨中心验证。整个框架的核心可以概括为三个步骤。1. 首先通过多模态数据学习更丰富的疾病表征对于病理图像,研究分别采用UNI v1、UNI2-h、Virchow2和CONCH v1.5四种病理基础模型提取图像特征,以检验方法能否适用于不同病理编码器。对于基因组学数据,研究将分子信息组织为通路层面的特征;对于临床报告,则先将文字信息进行结构化处理,再使用BioBERT等语言模型编码为向量表征。随后,作者引入基于原型引导的特征聚合与融合模块(PGAF),从不同模态中选择与预后相关的信息,并将其映射到统一的特征空间。这里的原型可以理解为模型学习到的、与不同预后风险相关的代表性特征模式。利用这些原型,模型可以从大量图像区域及其他模态特征中,聚合对患者风险预测更有价值的信息。这些多模态特征最终通过冻结的语言模型编码器进行融合,获得患者的风险预测结果。需要指出的是,这里的语言模型主要承担特征交互与融合任务,并非用于生成文本的对话式大语言模型。2. 核心创新:根据病理图像重建缺失模态的特征这是DAIMS最值得关注的部分。传统多模态融合模型通常将不同模态的特征直接拼接,或者通过交叉注意力机制完成信息交互。如果其中一个模态缺失,相应的输入特征也就不存在,原有融合结构可能无法正常工作。DAIMS采用了不同的思路。在训练阶段,模型能够同时看到病理图像、基因组学和临床报告。作者由此训练一个跨模态特征重建模块,让模型学习如何根据病理图像,生成具有基因组学或临床信息特征的潜在表示。具体而言,该模块利用其他模态中学习到的特征原型作为引导,通过交叉注意力机制,将病理特征转换成对应模态的替代特征。这样,当预测时缺少基因组学或临床报告,模型仍然可以利用病理图像生成替代特征,并送入后续融合网络,完成风险预测。需要强调的是,DAIMS并不是根据H&E图像直接生成患者的真实基因检测结果或临床报告,而是在模型内部重建用于预测的特征向量。这一区别非常重要。病理图像确实可能包含与部分分子改变相关的形态线索,但不意味着能够完整、准确地恢复患者所有分子和临床信息。DAIMS真正希望保留的是这些模态中与预后预测相关的补充信息。在特征重建实验中,模型对基因通路特征的重建效果较好,决定系数R²达到0.854;对于临床报告特征,R²为0.422,说明后者仍存在相当程度的信息损失。这也提示我们,跨模态重建的目标不应被简单理解为“用病理替代所有其他检查”,而是让病理模型尽可能吸收其他模态带来的有效监督信息。3. 最终将病理作为稳定的临床输入通过上述训练,DAIMS形成了一条可以独立使用病理图像的预测路径。在TCGA训练过程中,作者还模拟了不同程度的模态缺失,包括基因组学与临床报告分别缺失30%和30%、20%和40%、40%和20%等情况,评估模型对不完整数据的适应能力。研究发现,在这些不同缺失比例下,模型仍然能够维持较好的预后风险分层能力。更重要的是,在两个外部队列中,DAIMS不再要求患者同时提供基因组学和完整临床报告,而是直接以病理WSI作为模型输入。由此形成了一种具有实际应用价值的技术范式:训练时充分利用多模态信息,预测时则尽可能依赖最常规、最容易获得的模态。对于病理AI而言,H&E切片具有天然优势。与昂贵的分子检测相比,常规组织病理检查覆盖面更广,也是大多数实体肿瘤患者诊断过程中的必要环节。如果能够让多模态训练获得的知识最终服务于病理单模态预测,就可能在保留部分多模态性能收益的同时,显著降低模型的临床使用门槛。 三、研究结果:多模态训练,能否真正改善病理单模态预测?为了验证这一思路,作者不仅比较了DAIMS与已有病理预测模型的性能,也通过消融实验分析了其他模态是否真正为病理预测提供了额外价值。在TCGA的消融实验中,使用CONCH v1.5编码器时,完整多模态训练的DAIMS在仅使用病理进行评估的条件下,C-index达到0.761。如果训练时去掉基因组学和临床报告两类辅助模态,C-index下降到0.719。这一结果说明,多模态数据的价值并不一定局限于预测时直接提供额外输入。即使最终只保留病理图像,训练阶段的基因组学和临床信息,也可以帮助模型学习更有效的病理表征。在两个外部队列中,研究进一步评估了域适配后的预测性能。在中国F1CRC队列中,采用CONCH v1.5作为病理编码器,DAIMS在其中一种缺失模态训练设置下的C-index达到0.810,而未经目标域适配的病理单模态DAIMS分支为0.675。在英国SURGEN队列中,使用UNI2-h编码器时,域适配后的最佳C-index达到0.734,未经适配的病理单模态DAIMS分支为0.623。需要注意的是,域适配后的完整结果还涉及队列内部的预测分数排序融合,因此这些数值差异不能全部简单归因于模型参数微调。这些实验整体支持了两个判断:其一,多模态监督可以提高最终病理单模态模型的预测能力;其二,不同医院之间的数据分布差异依然存在,针对目标医院的适配可能进一步提高模型性能。研究还在不同治疗方式、疾病分期和分子亚型患者中进行了风险分层分析。例如,在接受不同化疗或手术治疗的患者中,以及BRAF、KRAS和MMR等分子亚组内,DAIMS均能够识别出生存结局存在差异的高低风险人群。不过,这些结果证明的是同一治疗或分子亚组内部的预后风险区分能力,并不能直接说明模型能够预测患者从某一种治疗中获益多少,更不能据此选择最优治疗方案。治疗获益预测仍需要进一步考虑治疗选择偏倚和因果效应等问题。在可解释性方面,研究通过预后原型生成病理热图。高风险区域往往与低分化、浸润性较强、结构紊乱的肿瘤区域相关,而相对低风险的区域更多对应良好分化的腺体结构或非肿瘤组织。部分形态学关联在不同医院队列中仍然能够观察到。这为模型学习到的风险表征提供了一定的病理学解释,但目前仍主要属于定性观察,需要进一步通过系统性形态指标量化进行验证。 四、域适配是另一个亮点,但也带来了新的部署问题除了缺失模态,DAIMS还专门处理了不同医院之间的域差异。所谓域差异,可以理解为模型训练医院与实际使用医院之间的数据分布不一致。例如,染色方案、切片扫描仪、图像分辨率、患者群体、疾病分期分布乃至生存终点都可能存在差异。这些因素可能导致一个在训练医院表现良好的模型,迁移到其他医院后出现明显的性能下降。为此,作者采用了基于伪标签的域适配策略。在外部医院,研究首先使用原始模型对当地患者的病理切片进行预测,生成伪风险标签。随后,模型根据预测的一致性筛选相对可靠的病例,逐步更新病理特征适配器和生存预测模块,而病理基础模型、缺失模态重建模块以及语言模型主干保持冻结。研究采用了8轮迭代适配,每轮训练4个epoch,每次选择最多50%的目标域病例参与更新。整个过程中不使用目标医院患者的真实生存时间或删失标签。这一设计的优势很明确:新医院不必等待患者长期随访结束,也不必重新收集完整的多模态数据,就可以利用本院已有的病理切片进行模型适配。但从临床部署角度看,它也留下了几个值得关注的问题。首先,适配不需要预后标签,却仍然需要一批患者研究在F1CRC和SURGEN两个外部队列中分别开展域适配,这两个队列包含420例和422例患者。这种方法适合医院已经积累了一批数字化病理切片,希望在本院部署模型的场景。但如果模型需要推广到大量不同医院,每家医院都需要提前准备一批病例、提取特征并完成模型更新,那么仍然会产生额外的实施成本。更重要的是,论文尚未充分回答:完成稳定适配究竟需要多少例患者?如果新医院只有几十例样本,是否仍然有效?不同的适配样本量会对最终性能产生多大影响?这些问题直接关系到方法的推广范围。其次,队列适配并不等于逐例独立预测按照论文描述,外部队列的WSI用于无标签域适配,随后在对应队列上评估模型的预测表现。这种评价方式可以研究模型利用目标域数据进行适配的能力,但与实际临床中“先完成部署,再对未来新患者独立预测”的场景仍有区别。此外,作者最终的风险分数不仅来自适配后的生存模型,还融合了模型估计的删失概率,并在目标队列内部进行排序后再合并。因此,最终预测分数具有一定的队列依赖性。如果临床使用时只有一位新患者,就不能直接按照论文中的方式计算其在整个目标队列中的排名。这并不意味着研究存在传统意义上的生存标签泄露,因为作者明确说明没有利用目标队列的真实预后标签进行适配。但是,在外部验证中使用目标病例的输入特征参与适配,与模型完全固定后对未来独立患者进行预测,仍然是两种不同的评价场景。此外,删失概率与患者随访过程有关,并不等同于肿瘤本身的生物学风险。不同医院的随访机制可能不同,将其与生存风险进行排序融合,是否会引入新的跨中心偏差,也值得通过独立消融实验进一步确认。对于真正面向临床的预后模型,理想的工作流程应当是:模型在完成训练及必要的医院适配后保持固定,新患者只需输入自己的病理切片,就能够得到可重复、可解释的预测结果,而不依赖同期其他患者的数据。最后,域适配的收益应该与零适配部署进行权衡值得注意的是,DAIMS的消融实验已经表明,经过多模态监督训练的病理单模态分支,即使不进行目标医院适配,也能够取得优于多数传统病理基线的表现。从临床转化的角度看,这一点可能比域适配后的最高C-index更加重要。对于希望推广到多家医院的病理AI模型,是否可以优先利用多中心训练、更加鲁棒的病理基础模型和跨模态知识迁移,提高模型在新医院的直接泛化能力?如果不进行任何医院特异性更新,就能获得具有临床价值的预测性能,那么这种模式在推广、维护和质量控制方面可能具有明显优势。相比之下,域适配可以作为一种可选的性能增强措施,而不是每家医院部署模型之前必须完成的步骤。当然,对于存在显著数据分布差异、零适配性能明显下降的医院,利用少量未标注数据完成轻量化适配,仍然可能是一种合理的折中方案。未来更有说服力的验证方式,是将目标医院的数据分为适配集和独立测试集,先使用前者完成无标签适配,再将模型固定,在后续患者上进行严格的独立验证。同时,还应比较不同适配样本量下的收益,明确模型从几十例到数百例患者时的性能变化。 五、从这项研究出发,病理AI如何更好地处理缺失模态?DAIMS的价值,并不局限于结直肠癌预后预测。它提示我们,多模态研究的目标未必是让每一位患者都提供更多数据,也可以是利用具有完整数据的患者,训练出能够服务更广泛人群的模型。未来的多模态病理AI研究,可以进一步区分训练阶段和实际应用阶段的需求。在训练阶段,可以充分利用具有病理、基因、临床和影像等多种数据的患者,探索跨模态的知识迁移、特征重建或知识蒸馏,让病理模型学习其他模态所包含的有效信息。在应用阶段,则应优先考虑最稳定、最容易获得的输入。对于以H&E切片为基础的模型,可以将病理作为必需模态,而把分子检测、影像以及其他临床变量设计为可选的增强信息。这样,即使患者只有病理切片,模型仍然能够提供基础预测;如果其他模态齐全,则可以进一步利用它们提升预测精度,而不必因为缺少某一项检查就拒绝预测。与此同时,缺失模态模型的研究评价也应该更加贴近真实临床环境。除了在完整数据集上比较C-index或AUC,还应考察不同缺失组合下的性能、模型能够覆盖的真实患者比例,以及跨中心部署后是否需要额外训练。在域迁移问题上,也应明确区分完全无需适配的外部泛化、利用未标注数据的医院级适配,以及需要真实结局标签的模型校准。这三种方案的临床实施成本和适用条件并不相同,不宜简单地用最高预测准确率进行比较。对于生存预测尤其如此。能够在某个队列内部区分高低风险,并不意味着模型已经具备跨医院一致的绝对风险估计能力。后者通常仍需要明确的预测时间点、统一的生存终点以及独立的临床校准验证。 结 语近年来,病理基础模型和多模态融合方法不断发展,模型架构越来越复杂,能够整合的数据类型也越来越丰富。但当研究开始真正走向临床时,一个更加基础的问题正在变得重要:模型究竟需要患者提供多少数据,才能发挥作用?DAIMS提供了一种值得借鉴的思路,即利用多模态监督增强病理表征,再通过跨模态特征重建,使模型能够在缺少其他模态的情况下完成预测。其域适配实验也证明,利用目标医院未标注病理数据进一步优化预测是可行的,不过这种队列级适配方式距离完全独立、逐例运行的临床系统仍有一定距离。多模态融合的最终价值,不应该只是让数据齐全的患者获得更准确的预测,更应该让先进模型能够服务于更多数据并不完整的真实患者。在这一意义上,从追求最强的多模态模型,转向追求真正能够部署的多模态AI系统,或许是未来病理AI研究更值得关注的方向。 本文章转载自微信公众号:AI病理视界
  • [热门活动] 【直播笔记】打通智慧病理“最后一公里”——全流程数字化到AI下沉实战精华回顾
    【直播笔记】打通智慧病理“最后一公里”——全流程数字化到AI下沉实战精华回顾10月21日,RuiPath数智病理公开课特邀上海衡道医学数字产品总经理左彦飞老师主讲《打通智慧病理“最后一公里”:从全流程数字化到AI下沉实战分享》。左老师围绕全数字化智慧病理科建设展开深度分享,旨在真正解放病理医生的双手。现将直播精华整理成笔记,供大家随时回顾学习。智慧病理数字化建设方案分享首先,左彦飞老师分享了智慧病理数字化建设方案,涵盖信息化、数字化、智慧化及区域化四个板块。重点介绍了华为云医疗AI使能平台与病理大模型的协同应用,实现从切片扫描到报告生成的全流程自动化闭环,提升诊断效率与数据质量。左老师指出AI模型在基层医院落地面临数据质量、人才短缺及算力不足等挑战,通过华为云平台实现端云协同,提升诊断精准度,降低医院投入成本,同时保障数据安全。最后,左老师分享两种PIS系统对接流程,PIS对接实现从扫片到病理诊断全流程自动化闭环,推动医生从“全量阅片”向“重点复核”转型,让AI成为医生的“第二双眼睛”。医疗AI使能平台功能与实战演示接下来,华为云智慧医疗专区运营专家介绍医疗AI使能平台的功能及应用场景,平台旨在辅助医生完成病理分析,提升诊断效率与准确性。同时,专家也详细演示医疗AI使能平台病理模型推理全流程:创建推理任务 → 配置基本信息(病理号、模型选择、规则库) → 选择病理切片(支持本地或平台已上传) → 执行AI推理 → 查看与复核结果(可编辑修正) → 修正数据反馈至模型(数据飞轮) → 下载报告(PDF/Excel格式)。参加体验官活动,共启智慧病理新篇章两位老师的精彩分享让观众意犹未尽,也让大家深切感受到科技的日新月异。病理诊断作为疾病诊断的“金标准”,长期面临医生资源紧缺、工作强度大、诊断标准不统一、基层能力不足等痛点,而AI技术的深度赋能,正在为病理领域带来深刻变革。如果您对本期内容感兴趣,欢迎注册华为云账号并申请平台试用,一起跟着专家老师开始云上实操之旅。同时,领取精美的礼品cid:link_0。未来,随着AI与病理诊断的深度融合,“最后一公里”必将被彻底打通——让每一位病理医生如虎添翼,让每一位患者更快获得精准诊断。科技赋能医疗,智慧点亮病理,锁定华为云开发者联盟视频号,我们下期直播见。【放直播回放地址】关注华为云开发者联盟视频号,点击链接观看回放cid:link_1 
  • [技术干货] 医疗检索的召回层,为什么值得单独用一个模型来做
    做医疗问答系统的人迟早会撞上一堵墙:用户问“胃出血一般住院多久”,你的检索系统返回了一堆标题里带“胃出血”但正文讲的是“胃出血的病因分类”的文档,真正讲住院时间的那段被排在第五页。你换关键词、加同义词、调 BM25 的 k1 和 b,效果能好一点,但始终差一口气。这口气差在哪?差在医疗 query 和医疗文档之间的词汇重叠度天然就低。患者用口语问“上消化道出血手术大概多久”,文档写的是“术后应观察血压、体温、脉搏、呼吸变化”。字面上几乎没有一个词对得上,词频模型再调参也调不出语义。这时候你需要的是一个能把两句话映射到同一个语义空间、让它们在向量距离上靠近的东西。ModelScope 上的 coROM 中文医疗文本表示模型(base 版,768 维)干的就是这件事。它不是个新模型——coROM 这个系列在社区里已经跑了挺久——但 base 版和 tiny 版的取舍、二阶段训练的设计、以及实际调用时几个容易踩的坑,值得单独拿出来聊一聊。双塔的意义:文档可以离线编码,query 只算一次coROM 用的是标准的 Dual Encoder(双塔) 结构。Query 和 Document 各自独立过预训练编码器,取 [CLS] 位置的输出作为向量,然后算距离。这个结构的工程价值不在模型本身多精巧,而在于解耦:文档库可以离线批量编码、建好向量索引,线上只需要编码用户 query 做一次近似最近邻搜索。千万级候选文档下,延迟是可控的。如果你把 query 和 document 拼在一起过交叉编码器(cross-encoder),精度可能更高,但每次检索都要对每一对 query-document 做一次完整前向,候选规模一上来就直接崩了。coROM 的定位很明确:它是召回层的模型,不是精排层的模型。先把候选从千万级筛到几百条,再交给更重的排序模型去精打细算。这个分工在工程上是合理的。底座用的是 coROM 系列预训练语言模型,不是通用 BERT 直接套医疗数据。检索任务的目标函数和语言建模本来就不一样——前者要把相关的 query-passage 拉近、不相关的推远,后者关心 token 级预测。coROM 底座在预训练阶段就把“匹配关系”嵌进去了,所以它在进医疗微调之前,对“这两段文本是不是在说同一件事”已经比通用 BERT 敏感。二阶段训练:随机负样本不够,得挖难的页面里有一段容易被略过的描述:训练分两阶段,第一阶段从官方文档集随机采样负样本,第二阶段通过 Dense Retrieval 挖掘难负样本扩充训练数据重新训练。这个设计值得多说两句,因为它解释了为什么 coROM 在医疗检索上比“拿 BERT 直接微调”效果好。随机负样本的问题在于太“容易”了——你拿“胃出血住院时间”当正样本,随机采一条“甲状腺结节超声特征”当负样本,模型闭着眼睛都能区分,学不到细粒度的相关性边界。难负样本才是真正逼模型去分辨“相关但不完全匹配”和“确实不相关”的东西。第二阶段用 Dense Retrieval 把那些“看起来像正样本、其实是负样本”的段落挖出来重新训练,模型才会对医疗语义的细微差异更敏感。训练配置是 4 张 V100、3 个 epoch、batch_size 64、learning_rate 5e-6、AdamW。这个资源门槛对中小团队来说不算高,意味着你拿自己的医疗标注数据替换掉示例数据集,在单机四卡上完成领域微调是可行的。示例代码用的是 dureader-retrieval-ranking,把 query、positive_passages、negative_passages 三个字段配好,挂 nlp_sentence_embedding_trainer 就能跑。两个实际调用时绕不开的细节第一,默认 max_length 是 128。 页面写得很清楚,“默认最长文本长度为128”,训练超参里 max_sequence_length 也是 128。医疗段落如果偏长——比如一段完整的术后护理说明——超出部分会被直接截断。这对召回精度有实际影响,尤其是当关键信息出现在段落后半段的时候。解决办法要么在 pipeline 配置里显式调大 max_length,要么在入库前先把长文档做段落切分、分段编码。别指望默认值能覆盖所有场景。第二,scores 输出的是 L2 距离,不是余弦相似度。 页面正文说“通过 cosine 距离度量相关性”,但代码注释里明确写了“scores 中的 score 计算两个向量之间的 L2 距离得到”。实际输出 75.6、62.2 这种量级也印证了这一点——余弦相似度不会是这个数量级。这意味着你不能按“0.8 以上算相关”这种余弦直觉去设阈值。更稳妥的做法是在自己的验证集上校准一个 L2 距离的截断值,或者干脆只用相对排序、不做绝对分数的硬截断。文档表述和代码实现之间的这种细微出入,在工程接入时是很容易踩的。base 和 tiny 怎么选页面这次给的是 base 版,768 维。之前 tiny 版是 256 维。两者的取舍很直接:base 精度更高,适合对相关性要求严格的场景;tiny 存储和计算开销小得多,适合候选规模极大、延迟敏感的第一层粗筛。如果你的检索链路是多阶段的,完全可以 tiny 做初筛、base 做二次召回,或者 base 召回后接精排。向量维度差了三倍,索引大小和检索速度的差异在实际系统里是能感知到的。模型 ID 是 iic/nlp_corom_sentence-embedding_chinese-base-medical,注意是 iic/ 前缀,不是早期文档里常写的 damo/。加载的时候用 Tasks.sentence_embedding,输入支持三种形式:只给 source_sentence 算句子间相似度,给 source_sentence 加 sentences_to_compare 算 query 和多候选的相关性,或者直接传单句拿向量。接口设计得比较灵活,但记得按你的实际任务选对输入结构,别把两种模式搞混。边界还是那句话模型在 Multi-CPR 医疗子集上训练,页面局限性写得很直白:“在其他垂类领域文本上的效果会有降低,请用户自行评测后决定如何使用。”这不是客套。coROM 的领域专用性是一种明确的 trade-off——医疗检索上它换来了更精准的语义对齐,代价是金融合同、法律条文这些场景不该指望它。如果你的系统是跨领域混合检索,要么额外评估,要么考虑通用版本。最后coROM base 版的价值不在于它有多新,而在于它把一个很具体的问题——医疗 query 和医疗文档之间词汇不重合时的语义匹配——做成了一个接口清晰、可微调、部署轻量的现成组件。768 维的向量表示,4 张 V100 的微调门槛,双塔结构带来的离线编码能力,这些加在一起,让它在医疗问答、知识库检索、FAQ 匹配这类场景里,是一个能直接放进召回层跑起来的东西。用它之前把 max_length 和 L2 距离这两个坑填上,剩下的就是拿你自己的数据跑一轮 Recall@K,看它能不能把你的候选质量往上提一截。
  • [技术干货] OFA 图像描述模型选型笔记:从 33M 到 930M,到底该用哪一档
    OFA 图像描述中,最容易让人纠结的不是代码怎么写,而是模型列表里那一排规模档位——Tiny 33M、Medium 93M、Base 180M、Large 470M、Huge 930M,还有英文、中文、通用场景、电商场景的区分。六行代码能跑通 demo 没错,但真到选型的时候,看着这一列参数,还是得停下来想一想:我的场景到底需要哪一档?这篇就把页面里的规模表、COCO 榜单数据和微调示例放在一起,聊聊选型的逻辑。不讲虚的,就按实际使用场景来。先搞清楚 OFA 在做什么OFA 的全称是 One-For-All,ICML 2022 的工作。它的核心主张是用一个统一的序列到序列框架,把跨模态、视觉、语言这些模态,和图像描述、视觉定位、图片分类、文本生成这些任务,都塞进同一个模型里。你不需要为每个任务设计不同的输出头或损失函数,统一成“输入序列 → 输出序列”就行。这个设计思路对使用者的直接影响是:同一个模型权重,换个任务头或者换个 prompt 格式,就能做不同的事。页面卖的是图像描述能力,但底座的统一性意味着它作为多模态起点是有延展空间的。当然,对只想做图像描述的人来说,这个背景知识了解一下就行,不用深究。规模表里的关键信息:不只是“大小”页面给的模型规模表值得逐列看:模型参数量(英文)BackboneHidden size编码层解码层OFA-Tiny33MResNet5025644OFA-Medium93MResNet10151244OFA-Base180MResNet10176866OFA-Large470MResNet15210241212OFA-Huge930MResNet15212802412几个容易被忽略的点:Tiny 到 Medium 的跨越主要是 Backbone 和 Hidden size 的提升(ResNet50→101,256→512),编码解码层数没变,还是 4+4。Base 到 Large 才是真正的“加深”——编码层从 6 翻到 12,解码层也从 6 到 12,Hidden size 从 768 到 1024。Huge 的编码层直接堆到 24,但解码层还是 12,这说明它的视觉理解端下了更重的功夫,文本生成端相对克制。这个结构差异决定了不同规模的实际表现曲线。Base 到 Large 的提升,主要来自更深的编解码器对图文对齐关系的建模能力;Huge 的额外提升,更多来自视觉端的精细理解。COCO 榜单数据能告诉你什么页面给了三档模型在 Karpathy test split 上的完整指标,我把它整理成更直观的对比:模型CIDEr(CE 优化)CIDEr(CIDEr 优化)提升幅度OFA-Base138.2146.7+8.5OFA-Large142.2150.7+8.5OFA-Huge145.3154.9+9.6几个观察:第一,Base 到 Large 的 CIDEr 提升是 4.0(CE 阶段),Large 到 Huge 是 3.1。 边际收益在递减,但绝对值仍然可观。如果你对描述质量有硬要求,Large 是个甜点位——比 Base 好一截,又没 Huge 那么重。第二,CIDEr Optimization 阶段对所有规模都有稳定的 +8.5 到 +9.6 的提升。 这说明用 CIDEr 作为强化学习目标做第二阶段优化,效果是普遍性的,不挑模型大小。你微调自己的数据时,这个策略值得借鉴。第三,BLEU-4 的绝对值都在 41–45 区间,SPICE 在 24–27 区间。 BLEU-4 反映 n-gram 匹配精度,SPICE 反映语义内容覆盖。这两个指标在不同规模间的差距比 CIDEr 小,说明小模型在“说对基本内容”上并不差多少,差距主要在“说得更丰富、更贴合参考描述的风格”上。如果你的场景只要求描述准确(比如给图片打标签做检索),Base 甚至 Tiny 可能就够了;如果你要的是接近人类撰写的自然描述,Large 或 Huge 的增益才明显。微调示例里几个值得注意的配置页面给的 finetune 示例用的是 coco_2014_caption 数据集,Large 版权重,Trainers.ofa。几个实操细节:batch_size_per_gpu 设成了 1。 这是示例为了在有限显存下能跑通,不是推荐值。470M 的 Large 版在 24G 卡上,batch size 开到 4–8 是合理的;如果显存吃紧,可以配合 gradient accumulation。max_epochs 是 2。 COCO 这种大规模数据集上 2 个 epoch 是合理的,但你自己的小数据集可能需要更多轮,注意观察过拟合。数据集 remap 的字段是 image 和 text。 这意味着你替换成自己的数据时,只要保证这两列存在、格式对得上(图片路径或 URL + 文本字符串),就能直接跑。不需要改模型结构或损失函数。示例里 split="train[:100]" 只取了 100 条。 这是演示用的极小子集,真实微调当然要用全量或足够大的子集。但这也说明一件事:这个示例的代码路径是经过验证能跑通的,你改成自己的数据,主要工作在于数据准备和超参调整,而不是代码适配。选型的实际建议把上面的信息落到选型上,我的建议是按场景分三档:Tiny / Medium(33M–93M):适合边缘部署、高并发、对延迟敏感的场景。比如给海量图片批量打标签做检索索引,描述质量要求不高,能覆盖主体和场景就行。33M 的 Tiny 在 CPU 上都能跑,Mobile 端部署也不是没可能。Base(180M):通用场景的性价比之选。COCO 上 CIDEr 138 起步,微调后能到 146,描述质量足够支撑大多数应用。单卡推理和微调都轻,是“先跑起来再说”阶段的最优解。页面这个 large 版其实对很多场景是过剩的。Large / Huge(470M–930M):对描述质量有明确要求、且硬件不是瓶颈的场景。比如内容平台需要高质量 alt text、或者你要用 OFA 作为多模态底座做进一步的复杂任务(视觉问答、图文检索)。Large 是甜点位,Huge 的编码层翻倍带来的是视觉理解的精细度提升,适合图像内容复杂、需要捕捉细节的场景。还有一个容易忽略的维度:语言。页面这个模型是英文的(_en 后缀),训练数据是 COCO 的英文 caption。如果你要做中文描述,得换中文版本(页面提到了 base-电商场景-中文),或者自己在中文图文对上微调。英文模型直接输出中文是不现实的,tokenizer 和训练分布都不支持。最后一句OFA 这个系列的选型逻辑其实不复杂:小规模换效率,大规模换描述质量,Base 是大多数场景的起点。页面给了完整的规模表和榜单数据,就是为了让你在做决定之前有据可依,而不是盲目选最大的或者最便宜的。先想清楚你的场景对描述质量的要求、硬件预算、以及是否需要微调,再对着这张表选,比直接抄 demo 代码里的 large 要靠谱得多。
  • [智慧病理] Hulu-Med 这个模型,把“医学多模态”从单点任务拉到了系统层面
    最近翻医学视觉语言模型,看到 Hulu-Med 的发布信息,11 月底那会儿它刚宣布兼容 vLLM,给上了张量并行支持。这个更新本身不算大新闻,但结合它 10 月发布时的定位——“透明的医学通用模型”——让我觉得值得单独写一篇。原因不是它刷了多少榜,而是它解决了一个很实际的问题:做医学多模态应用的人,到底该拿一个只会看 2D 图像的模型,还是一个能同时处理文本、2D、3D 体数据和手术视频的系统。Hulu-Med 选的是后者。它覆盖的范围,比大多数医学 VLM 宽一圈大多数医学视觉语言模型聚焦在单一模态上:X 光片、病理切片、眼底照片,做一种影像的问答或报告生成。Hulu-Med 的训练数据覆盖了 12 个人体解剖系统、14 种影像模态,从 CT、MRI、X 光、超声、PET、OCT 到内窥镜、组织病理学、眼底照相、皮肤镜、血管造影,再到数字照片和医学图表。样本量 1670 万。模态跨度大,对应的下游任务也跟着宽:视觉问答(2D/3D/视频)、医学报告生成、疾病诊断、解剖学理解、手术阶段识别、临床对话、医疗文本推理、多语言医疗问答、罕见病诊断。它没有把自己锁在“看图说话”这一个任务上,而是往“医学场景的通用多模态底座”方向走。对开发者来说,这意味着如果你要做的系统涉及多种影像类型——比如一个平台同时处理放射影像、病理切片和手术视频——你不需要为每种模态单独接一个模型。一个底座覆盖多模态,工程上少一层拼接,推理链路也短一截。MoE 架构和部署方式,是它最需要提前想清楚的部分Hulu-Med 有 7B 到 32B 的规模变体,但页面特别提醒了一件事:Hulu-30A3 和 235A22 是基于 MoE 的模型,建议通过 vLLM 或 SGLang 部署,以获得最佳性能和效率。这不是随口一说,MoE 模型在原生 transformers 下跑推理,专家路由带来的额外开销会让吞吐很难看,vLLM 的专家并行(expert parallel)和 chunked prefill 才是它设计上预期的运行环境。部署命令页面给得很完整,vLLM 和 SGLang 两条路径都有。vLLM 那边开了 8 卡张量并行、enable_expert_parallel、max_model_len 75538、gpu_memory_utilization 0.85;SGLang 那边上下文长度直接设到 128000。这个上下文窗口对医学场景是有意义的——一份完整的电子病历、一套多期影像的报告、一段手术记录,长度都不短,128K 意味着不需要做激进的截断。部署起来之后,调用方式是 OpenAI 兼容 API。文本和图像走标准的 chat.completions.create,图像用 base64 编码塞进 image_url。这对已经有一套 OpenAI API 调用封装的团队来说,迁移成本很低,把 base_url 指向本地 8000 端口就能跑。但要注意,7B 版本和 MoE 版本的部署路径不一样。页面明确说“作为基于 MoE 的模型,建议通过 vLLM 或 SGLang 部署 Hulu-30A3/235A22”。7B 版应该可以走原生 Transformers 的 AutoModelForCausalLM.from_pretrained,页面也提到了 HuggingFace 兼容的权重已经放在 main 分支,国内用户可以设 HF_ENDPOINT=https://hf-mirror.com 走镜像。选型时先确认你手头的硬件和部署栈撑得住哪个规模。“透明”是这个模型的核心卖点,不只是个形容词Hulu-Med 反复强调“完全基于公开数据训练”“完整的开源流程,包括数据整理、训练代码和模型权重”。在医学 AI 这个领域,这句话的分量比在通用领域重得多。医学模型的黑箱问题一直是个落地障碍:医院和监管方需要知道模型在什么数据上训的、有没有覆盖特定人群、有没有潜在的偏差来源。一个完全基于公开数据、训练流程可追溯的模型,在合规审查和本地验证环节,比一个“效果很好但不知道喂了什么”的模型要好推进得多。它不一定在每一个单项任务上都赢过闭源系统,但它提供了一个可以被审查、被复现、被在自己的数据上重新验证的起点。训练成本也值得一提:7B–32B 规模变体仅需 4,000–40,000 GPU 小时。这个数字对有意做领域继续预训练或大规模微调的团队来说,是有参考价值的——它说明这个量级的医学多模态模型,训练开销在一个中型团队可承受的范围内。评估这件事,它自己也在补页面的更新记录里有一条值得注意:11 月 1 日发布了 MedUniEval,基于 MedEvalKit 构建,用于在文本、2D、3D、视频多种模态上评估医学视觉语言模型。这说明团队意识到“30 个医学基准 SOTA”这个说法需要配套的、可复现的评估工具来支撑。部分处理后的评估数据已经公开。对使用者来说,这意味着你可以用同一套评估框架去对比 Hulu-Med 和你自己的候选模型,而不是各自引用不同的榜单数字。医学模型的选型,评估口径一致比分数高低更重要——不同基准之间的可比性,往往比单一榜单上的排名更有实际意义。适合谁,不适合谁适合:需要统一处理多种医学模态(2D/3D/视频/文本)的团队;对模型透明度和可追溯性有要求的机构场景;希望拿一个可微调的医学多模态底座、在自己的数据上做领域适配的开发者;以及已经在用 vLLM/SGLang 做推理服务、想接一个医学专用模型的工程团队。不适合:只有单卡、跑不动 MoE 推理的个人开发者(7B 版可以试试,但 MoE 版本的硬件门槛不低);只需要单一模态、单一任务的轻量场景(用更小的专用模型更划算);以及期待“开箱即用做临床诊断”的用法——它是个通用底座,不是经过临床验证的诊断系统,页面也没这么宣称。总结Hulu-Med 值得关注的地方,不是它在 30 个基准上拿了 SOTA,而是它把“医学多模态”这件事从单点任务的堆叠,做成了一个覆盖 14 种影像模态、支持 2D/3D/视频、训练流程完全公开、部署走 vLLM/SGLang 标准路径的系统性底座。它的 MoE 架构意味着部署前得想清楚硬件和推理框架,它的透明度意味着合规和本地验证有路可走,它的评估工具意味着你不需要盲信榜单。如果你在做的东西跨了不止一种医学模态,这个模型值得放进候选清单里跑一轮对比。
  • 会议报道|USCAP 2026:从非AI研究中,我们为你找出了50个病理AI选题!
    原本是想系统调研一下USCAP 2026里有哪些值得关注的病理AI摘要。结果几千篇摘要一路看下来,真正让人眼前一亮的病理AI相关研究,其实并不算多。倒是另一类工作更容易让人产生联想:它们本身并不是病理AI研究,甚至很多仍然是很传统的病理学问题,但恰恰因为还主要依赖人工阅片、人工计数、人工分层,反而让人不断冒出一个想法:这些地方,病理AI是不是已经有了用武之地?于是,索性把这一路看到的这些“非病理AI研究摘要”整理出来,换一个角度去看:如果站在病理AI研究者的视角,哪些题目其实已经隐含了清晰的AI切入点?哪些问题表面上是传统病理研究,实质上却很适合被AI重新量化、标准化,甚至发展成新的临床辅助工具?当然,很多判断只是根据题目以及简单的摘要做出的推演,再加上出发点本身就是一个非病理医生的AI研究者视角,里面难免会有不成熟、不现实、甚至临床意义并不强的想法。哪些方向真的值得做,哪些方向做出来也未必有价值,欢迎大家拍砖。USCAP 2026上有很多传统病理研究里,仍然有大量高度依赖人工阅片、人工计数、人工分层的工作环节。它们不一定最时髦,但恰恰因为这些问题还没有被很好地数字化、量化和标准化,所以才给病理AI留下了现实的切入空间。从这个角度看,USCAP 2026里这些“并非病理AI”的摘要,某种程度上反而比很多已经贴上AI标签的研究更有启发性。因为它们展示的不是AI已经做了什么,而是病理学还在用怎样的方式提出问题;而只要问题还停留在高劳动量、低标准化、强经验依赖的状态里,AI就总有机会介入。当然,真正值得做的病理AI选题,仍然要回到三个更现实的问题:它是不是临床真问题,它能不能拿到可靠标签,它做出来之后是否真的比人工现有流程更有价值。也欢迎大家拍砖:哪些方向看起来很美,实际并不值得做;哪些方向表面普通,反而可能是最接近转化落地的病理AI题目。🔷149 Largest Ductal Diameter as a Histopathologic Predictor of DCIS Extent in Resection Specimens这个题目很容易让人想到一个典型的量化型病理AI任务:先做导管结构识别与分割,再自动测量最大导管直径,并进一步预测DCIS的病变范围。再往前走一步,这个方向甚至未必需要停留在“最大直径”单一变量上,而可以扩展到更完整的导管形态组学,例如异常导管数量、扩张程度分布、坏死相关征象、导管空间聚集模式等,最后形成一个用于估计DCIS extent的复合数字指标。🔷193 Can Histologic Features of Flat Epithelial Atypia Distinguish Cases with and without Co-Existing Ductal Carcinoma In Situ (DCIS)?这类题目非常适合做“从形态到风险”的AI。任务不只是识别FEA,而是预测哪些FEA病例更可能伴发DCIS。AI的重点不一定是替代病理医生判断是不是FEA,而是对FEA内部做进一步的风险分层,帮助识别那些看起来边界不大、但临床上可能更值得警惕的病例。🔷216 p53 and p16 Immunostaining Patterns in Breast Phyllodes Tumor: Currently Underused Tools in Histological Classification and Prognostication of Phyllodes Tumor这是很典型的形态与IHC联合建模方向。病理AI可以先做p53、p16的自动定量判读,再把H&E的形态特征和IHC量化结果融合,用于phyllodes tumor的分类、复发风险分层甚至恶性潜能评估。🔷279 Clinical Significance of Endometrial Cells in Papanicolaou Tests of Women Aged 45 or Older: A 3-year Retrospective Histologic Follow-up Study from a Large Institute如果这项研究背后连接了细胞学与后续组织学随访,那么很适合转化成一个细胞病理AI方向:自动识别Pap涂片中的子宫内膜细胞,并进一步预测哪些病例的随访组织学更值得关注。🔷291 Small Samples, Big Data: Rapid On-Site Molecular Adequacy Evaluation of EUS-FNA Specimens in Pancreatic Ductal Adenocarcinoma这几乎是一个现成的病理AI应用场景。核心不是肿瘤分类本身,而是判断:这份EUS-FNA样本够不够做分子检测?肿瘤细胞含量是否足够?是否值得追加取样?这类评估对穿刺流程、分子检测成败和患者路径都很关键,也是病理AI特别容易体现“流程价值”的方向。🔷399 Digital Linked Visualization of H&E and Immunofluorescent Whole Slide Images in Dermatopathology–a Pilot Evaluation皮肤病理中H&E与免疫荧光切片的同步联动阅片,不只是提高了阅片便利性,更重要的是把荧光信号重新放回到了具体组织结构背景中,从而更准确地理解信号定位与病理形态之间的对应关系。 病理AI的切入点在于构建H&E—免疫荧光跨切片配准与联动分析模型,在实现多张切片自动匹配、同步浏览和信号定位的基础上,进一步发展为形态—荧光联合判读、异常模式检出和多模态数字病理辅助诊断工具。🔷407 Prognostic Significance and Clinicopathological Association of Tumor Budding and Poorly Differentiated Clusters in Cutaneous Malignant MelanomaTumor budding和PDC几乎天然是病理AI任务。切入点很明确:自动检测、自动计数、空间分布量化,然后和预后、复发、转移等结局做关联。可以进一步思考的是,AI是否可以不仅复现人工定义,还找出更稳定、更连续化的出芽负荷相关指标。🔷522 Accelerating Precision Diagnosis in CT-Guided Lung Biopsies Using Rapid Fresh Pathology这和术中快速病理、穿刺样本是否足量有类似切入点,具有高转化价值场景。AI可以用于 新鲜病理组织样本的肿瘤识别、样本是否足量的判断、初步亚型提示,甚至辅助后续分子检测路径选择。相比常规石蜡切片,这类快速场景更能体现AI在时效性上的优势。🔷566 Invasion Rather Than Degree of Nuclear Atypia or Growth Pattern Correlates with Distant Metastasis in Encapsulated Follicular and Solid-Patterned Thyroid Tumors: Implications for The Future Classification of Thyroid Carcinomas在包裹性滤泡型和实性生长的甲状腺肿瘤中,真正决定远处转移风险的关键并不是乳头状癌样核特征或实性生长模式本身,而是是否存在包膜或血管侵犯,说明现有分类体系可能过度强调核异型,却低估了侵犯这一更具生物学意义的结构性证据。 病理AI的切入点可以把模型的重点放在包膜侵犯、血管侵犯、浸润边界等结构性证据的识别上,而跳脱传统的细胞核层面的表征。🔷600 Elucidation of an Immunohistochemical Biomarker Signature for Aggressive Stage II Colorectal Cancer构建的多IHC标志物面版的新型预测标志物很适合病理AI做两层工作。第一层是多标志物IHC的自动量化;第二层是把这些IHC指标和H&E形态特征整合,形成预后模型。再进一步,还可以探索是否存在H&E对这类IHC标志物的替代预测能力。🔷651 Implications of Subclassifying Gastric Intestinal Metaplasia in a Low-risk Population for Gastric Cancer这是一个很标准的“常规诊断对象如何升级为风险分层工具”的方向。AI切入点可以是胃肠化生进一步的亚型自动分类,并进一步评估不同亚型与后续癌变风险、监测策略之间的关系。🔷652 Lymph Node Ratio, Not Nodal Stage, Predicts Overall and Disease-Free Survival in Non-Ampullary Primary Small Intestine Adenocarcinoma这个研究的启发是:AI不一定只做“有没有淋巴结转移”,而更适合去量化转移负荷。包括淋巴结检出数量、阳性结节数量、转移灶面积、阳性比例等,都可以成为比单纯N stage更连续、也更适合建模的数字病理指标。🔷 672 Stage II Colon Cancer: Which Pathologic Features Best Predict Prognosis研究发现壁外血管侵犯(EMVI),即在显微镜下,于肠壁固有肌层之外的静脉血管腔隙内发现了肿瘤细胞,是二期肠癌强有力的预后因素。病理AI很适合对这类组织学标志物进行自动检测和量化。🔷698 Tumor Budding Predicts Nodal Status in Anal Squamous Cell Carcinoma和前面的budding类似,但这里的终点更明确,是nodal status。AI切入点就是在活检或切除标本中自动量化tumor budding,并探索它对淋巴结转移、治疗前分层和决策支持的价值。🔷699 Predictive Value of the PICaSSO Histologic Remission Index (PHRI) for Relapse in Ulcerative Colitis Patients with Endoscopic Remission。研究验证了一种新的简化版的基于中性粒细胞的组织学评分系统与IBD患者预后的关系。这种的组织学评分系统非常适合AI自动化。AI可以做的是不但是把它更稳定地复现出来,还可以探索从离散等级到连续量化的过渡。如果能进一步预测复发,那就更有价值。🔷706 Key Morphologic Predictors of Pancreatic Ductal Adenocarcinoma in Biopsy and FNA Specimens: A Correlative Histologic Study在胰腺穿刺活检和细针穿刺这类有限样本中,最能提示PDAC的并不是很多零散形态线索的简单堆积,而是少数几个更稳定的关键征象——如核极性丢失、核拥挤、深染和不典型腺体,其中FNA中最突出的信号则是深染。 病理AI的切入点在于构建面向有限样本的PDAC关键形态征象识别模型,自动量化这些高价值细胞学和结构学特征,并进一步发展为针对core biopsy和FNA的诊断置信度辅助工具。🔷709 Eosinophil Quantification in Chronic Gastritis: Potential Implications in Pathogenesis and Management of Collagenous Gastritis嗜酸性粒细胞计数是非常适合病理AI的任务。在临床场景中,如果慢性胃炎的管理确实需要更稳定、更大规模的嗜酸性粒细胞计数,那么AI就能很自然地替代繁琐人工计数,并扩展到按区域、按层次、按高倍视野的细粒度统计。🔷710 Do Tumor Deposits Demand More? A Multicenter Validation Of Sassun–Mayo Stages In N1 Colon Cancer Assessing Different Chemotherapy RegimensTumor deposit是很有潜力但也很考验定义一致性的AI方向。若要切入,重点不只是检出tumor deposit,更要解决它与淋巴结转移、血管侵犯等结构的区分,并进一步把deposit负荷、数量、分布模式量化出来。🔷760 Limitations of Morphology-Based Tumor Purity Assessment in Clinical Oncology: Insights from Molecular Correlation研究指出了传统形态学的肿瘤纯度评估可能并不可靠。那AI一方面可以把肿瘤纯度评估做得更标准;另一方面也可以更有意思地去研究,哪些形态因素导致了“形态估计”和“分子真值”之间的偏差。这个方向不只是做自动评估,而是在反过来审视形态学判断的边界。🔷767 Do Patients with Lymph Node Micrometastasis (≤ 2 mm) Show Better Disease-Free Survival Than Those with Macrometastasis (> 2 mm) in Prostate Cancer Following Radical Prostatectomy?如果淋巴结转移灶本身的大小与预后有直接关系,那么AI不但可以辅助识别有转移的淋巴结,更可以精细量化转移灶的大小,并进一步提供更连续的转移负荷度量,例如总转移面积、多灶性、最大灶直径与结节大小比值等。🔷771 Analysis of Three Different Methods for Interpretation of P53 Immunohistochemistry in Penile Squamous Cell Carcinoma in Predicting TP53 Mutational Status在阴茎鳞癌中,p53免疫组化并不是简单看“阳性多少”就够了,真正更接近TP53突变状态的是对表达模式的判读,例如弥漫基底/基底上过表达、全阴性或胞浆型等异常模式,而不是单纯的阳性比例阈值。而AI正好可以把强度、范围、染色模式做成标准输出,实现比传统计数法更贴近分子状态的数字化判读。🔷778 Digital Regrading of Urothelial Carcinoma with Focal High-Grade Features: Improved Interobserver Agreement and Cytology Correlation Using the ISUP Hybrid System对于伴局灶高级别成分的尿路上皮癌,传统WHO 1973三级分级体系在G2区间内容易产生模糊和分歧。 病理AI的切入点在于构建尿路上皮癌局灶高级别成分识别与数字化重分级模型,自动量化低级别与高级别区域的比例和空间分布,辅助在LG2与HG2等易分歧区间实现更一致的判读,并与细胞学结果联合提升分级的稳定性与临床相关性。🔷784 Integrating WHO Grading with ABCC2 Immunohistochemistry Improves Renal Biopsy Risk Assessment in Papillary Renal Cell CarcinomaPRCC术前活检仅靠WHO分级进行风险判断并不稳定,存在明显低估风险的问题,而加入ABCC2 IHC后,尤其在小肾肿块和主动监测场景中,活检与切除标本之间的一致性可以明显提高。 病理AI的切入点在于构建活检形态分级+ABCC2表达模式联合判读模型,一方面自动识别BB反应并标准化风险分层,另一方面也可进一步探索仅基于H&E预测ABCC2风险表型,用于术前更稳健的分层和监测决策辅助。🔷 798 mCRPC: From Morphology to Survival转移性前列腺癌并不是一个单一形态实体,不同形态亚型对应着明显不同的生存结局和分子背景,其中cribriform ADC预后相对更好。病理AI的切入点在于,基于H&E构建转移灶形态亚型自动识别与混合形态量化模型,进一步结合生存和基因数据,发展为面向mPC的形态分型、风险分层和潜在分子异常提示工具。🔷819 Non-Invasive Papillary Urothelial Carcinoma with "Plasmacytoid” Morphology: A Retrospective Review of 500 Consecutive Cases一部分看起来并不具备传统高级别细胞学特征的 pTa乳头状尿路上皮癌,只要出现“plasmacytoid”形态,其进展风险就可能高于典型低级别病变,但又未必完全等同于常规高级别肿瘤。 病理AI的切入点在于构建非典型少见形态成分识别与比例量化模型,自动检出并量化pTa PUC中的plasmacytoid成分,再结合随访结局评估其是否应作为独立的升级风险信号或纳入更精细的数字化分级体系。🔷823 Quantification of Perineural Invasion (PNI) in Individual Biopsy Sites Enhances Postoperative Risk Stratification in Prostate Cancer: Impact of 2 PNI Foci Detected in 1 vs. 2 Biopsy Site(s)这是非常标准的AI选题。PNI不应只做有无判断,而应做到按针道、按部位、按灶数输出。也就是说,AI不是“发现PNI”就结束了,而是进一步量化PNI负荷及其空间分布,这才更符合题目真正关注的问题。🔷839 Histologic Features “Suspicious for Extraprostatic Extension” on Core Biopsy Are Strongly Correlated with Extraprostatic Extension at Radical Prostatectomy在前列腺穿刺活检中,即使尚未达到“明确前列腺外侵犯(EPE)”的标准,只要出现肿瘤紧贴脂肪组织、或位于超出前列腺平滑肌基质边界之外的胶原纤维组织中,这类“可疑EPE”征象同样与根治标本中的真实EPE高度相关。 病理AI的切入点在于构建EPE可疑征象识别与风险提示模型,自动定位肿瘤—脂肪接触、肿瘤突破前列腺基质边界等关键结构关系,将原本依赖经验的“sEPE”判断转化为更标准化、可重复的术前风险评估工具。🔷865 Novel Composite Histopathologic Score from Prostate Base Biopsies Predicts Ipsilateral Seminal Vesicle Invasion at Radical Prostatectomy前列腺基底部活检中的Grade Group≥3、PNI和PTI≥50%不只是彼此相关的高危征象,而是能够独立预测同侧精囊侵犯,并且三者整合后的复合病理评分比单一特征更具术前分层价值。 病理AI的切入点在于构建基底部活检多特征联合量化模型,自动识别并整合高级别成分、神经周围侵犯和肿瘤累及比例,进一步形成面向SVI风险的数字化复合评分工具,用于术前风险评估和治疗决策辅助。🔷871 Morphological Detection of Intraductal Carcinoma of the Prostate on Biopsy Is a Strong Predictor of Upgrading at Radical Prostatectomy前列腺导管内癌IDC-P本身就是前列腺病理里很有价值的目标。AI切入点很直接:自动识别IDC-P,并把它作为病例升级风险的重要信号。真正有意思的是,AI是否能帮助把那些“高度可疑但尚不典型”的病灶更早提示出来。🔷872 Quantification of Perineural Invasion (PNI) in Individual Biopsy Sites Enhances Postoperative Risk Stratification in Prostate Cancer: Comparison of Single PNI Focus vs. Multiple PNI Foci Within a Single Biopsy Site和摘要823类似,但这里更强调单一针道内PNI灶数的差异。这再次提示一个问题:很多像PNI这样的传统病理特征其实不该停留在“有/无”二元标签,而更适合被AI转化为连续化、负荷化的量化指标。🔷873 H&E-based Immune Phenotypes Predict Benefit from Dual Immune Checkpoint Inhibitors (ICIs) but not ICI plus Tyrosine Kinase Inhibitors (TKIs) in Metastatic Renal Cell Carcinoma (mRCC)人工评估已经可以仅基于H&E对肿瘤免疫微环境进行分型(desert/excluded/inflamed),且这种表型能够区分双免(ICI+ICI)治疗的获益人群,但对ICI+TKI组合则缺乏预测能力。 病理AI的切入点在于构建H&E免疫表型自动识别与空间免疫浸润量化模型,不仅实现desert/excluded/inflamed的标准化分型,还可进一步量化肿瘤内与周边免疫细胞分布,用于指导不同免疫治疗方案的分层选择。🔷911 Significance of The Presence of One or More Non-Conventional Histologic Components in Urothelial Carcinoma: Focus on Pathologic Outcomes Post-Neoadjuvant Chemotherapy in A Multi-institutional Cohort尿路上皮癌的非经典组织学成分,本来就很适合做数字病理量化。AI可以帮助识别这些非经典成分,并量化其比例,再与新辅助治疗后的病理结局关联。这类方向对“变异形态成分的系统研究”会很有帮助。🔷937 Residual Disease and Chemotherapy Response Score (CRS) in Interval Cytoreductive Surgery (ICS) After Neoadjuvant Chemotherapy (NACT) for High-Grade Serous Ovarian Carcinoma (HGSOC): Time to Refine the Prognostic Stratification?HGSOC新辅助治疗后网膜病灶的化疗反应评估中,二分类CRS(CRS1/2 vs CRS3)比三分类更稳定。病理AI的切入点在于构建CRS自动量化模型,标准化输出CRS分层、残留肿瘤比例及是否完全清除,从而把原本主观性较强的治疗反应评估转化为更稳定、可重复的数字化预后工具。🔷969 Pathologic and Molecular Predictors of Immunotherapy Response In Endometrial Cancer Inform Outcomes Beyond TCGA Classification子宫内膜癌免疫治疗获益并不只由MMRd或POLE这类粗颗粒分子分型决定,肿瘤浸润前沿的单核炎症、肿瘤内淋巴细胞、肿瘤周围间质状态,以及ARID1A/PTEN突变等更细致的形态与分子特征,都可能提供额外的预测信息。 病理AI的切入点在于构建肿瘤前沿免疫炎症与间质量化的形态—分子联合模型,基于H&E自动评估invasive front炎症、TILs和间质类型,并进一步与分子特征整合,用于更精细的免疫治疗反应分层。🔷972 Distinguishing Minimal High-Grade Serous Carcinoma (HGSC) from Serous Tubal Intraepithelial Carcinoma (STIC) of the Fallopian Tube: A Single-Institution Experience这是典型的微小病变、边界病变鉴别问题。AI的价值可能不在于独立下结论,而在于做“高可疑区域提示”和“微小病变检出增强”。这类方向技术上有挑战,但临床意义往往不低。🔷1010 Assessment of Prognostic Significance of Extent of Infiltrative Growth in a Multi-institutional Series of Ovarian Mucinous Carcinoma浸润性生长模式是非常适合AI量化的对象。因为人工判断常常是印象式、离散化的,而AI可以把浸润边界复杂度、浸润范围、局灶与弥漫分布等特征转化为连续变量,再与预后做关联分析。🔷1017 Count On It: An Outcome-Anchored Three-Gland Rule for Extensive Endocervical Gland Involvement (eEGI) in Initial Cervical Biopsies with HSIL真正有预测价值的并不是“是否存在宫颈腺体受累(EGI)”本身,而是其在初次活检中的受累范围,尤其受累腺体数达到≥3个时,更提示后续切除标本切缘不良、残留病变和再次切除风险升高。 病理AI的切入点在于构建HSIL中EGI自动识别与腺体计数模型,标准化输出受累腺体数、受累比例和范围分层,把原本较主观的“广泛受累”判断转化为更稳定的数字化风险提示与切缘管理辅助工具。🔷1019 Classification of Focal Versus Extensive LVI in Endometrial Carcinoma is Dependent on Method of LVI Quantification子宫内膜癌中广泛LVI不仅取决于是否达到5个受累脉管,更取决于这5个病灶是集中出现在单张切片,还是分散在多张切片中。 病理AI的切入点在于构建LVI自动识别与全病例级负荷量化模型,既能在单张切片上检测和计数明确LVI灶,也能跨全部肿瘤切片整合其总数、分布和聚集模式。🔷1035 Integrating Morphology and Immunohistochemistry to Guide POLE Testing in Endometrial Carcinoma: A Real-World ExperiencePOLE突变型子宫内膜癌虽然预后极好,但若完全依赖全量分子检测,现实成本较高,而“形态可疑/不典型+p53或MMR亚克隆异常表达”的组合,确实可以富集出大多数POLE突变病例索。 病理AI的切入点在于构建面向POLE送检分流的形态—IHC联合筛查模型,自动识别高等级中不典型或混合形态区域、亚克隆p53/MMR异常模式,并输出POLE高可疑评分,用于在资源受限场景下优化分子检测策略。🔷1043 Composite Score Based on Tumor Stromal Proportion (TSP) and Tumor Buds (TBs) as Prognostic Predictor in Cervical Squamous Cell Carcinoma (SCCA)在宫颈鳞癌中,单独看肿瘤间质比例(TSP)或肿瘤出芽(TB)都不如把二者组合起来更有预后价值。 病理AI的切入点在于构建侵袭前沿TSP与TB联合量化模型,自动识别最具侵袭性的区域、量化间质比例和芽生负荷,并进一步形成类似TSTB的数字化复合评分。🔷1090 Evaluation of Perineural Invasion and its Subcategorization (by Location), in Oral Cavity Squamous Cell Carcinoma and Its Correlation with Other Prognostic Factors, Disease Free Survival and Overall Survival: A Retrospective StudyPNI的另一个典型方向,是不只做检测,还做子分类。比如按位置、按神经大小、按包绕模式、按是否伴神经内浸润来分层。AI非常适合承担这类多层次、重复性差但临床重要的量化任务。🔷1107 Expanding the Histologic Spectrum of Human Papillomavirus (HPV)-Associated Oropharyngeal Carcinoma: A Retrospective Study of 380 Cases Focusing on Classification, Histologic Features, and Their Prognostic SignificanceHPV相关口咽癌并不只是“非角化型鳞癌”这一种经典形态,肿瘤中哪怕只占少量的腺样分化成分或基底样成分,也可能携带独立的不良预后信息。 病理AI的切入点在于构建HPV相关口咽癌细粒度形态成分识别与比例量化模型,自动检出腺样、基底样、乳头状、淋巴上皮样等不同组织学成分及其占比,并进一步形成面向预后分层的数字化形态谱系分析工具。🔷 1116 Evaluation of Collagen Alignment and Histological Features in Different T Stages of HPV Positive Oropharyngeal Squamous Cell Carcinoma这个题目很有启发,因为它把注意力放到了基质结构而非只盯肿瘤细胞。病理AI可以从H&E或特殊染色中量化胶原排列方向性、各向异性、纤维组织组织化程度,并与T stage关联。这类“间质结构量化”可能是被低估的方向。🔷1161 Follicular Lymphoma Grade 3: Reassessing Morphologic Features in the Context of Current Classification Systems滤泡性淋巴瘤3级,尤其是3A、3B以及WHO5新增的FL3U之间的区分,仍然高度依赖主观细胞形态判断,重复性有限。 病理AI的切入点在于构建滤泡性淋巴瘤细胞学分级与弥漫大B细胞成分识别模型,自动量化centroblast密度、大细胞优势程度及弥漫区范围,把原本主观性较强的FL亚型划分转化为更可重复的数字化分层工具。🔷 1163 Post-Induction Bone Marrow Fibrosis: A Potential Prognostic Indicator of Leukemic Clearance and Improved Overall Survival in Acute Myeloid Leukemia骨髓纤维化是很典型、也很适合AI标准化的病理指标。尤其在治疗后骨髓样本中,AI可以帮助把纤维化从传统等级评价推进到更连续、更客观的定量指标。🔷1419 Immune Related Pathological Features and Immune Therapy Predictive Score in Biopsy Predicting the Prognosis of Intrahepatic Cholangiocarcinoma Patients Treated by Combined Immunotherapy Following Radical Resection在iCCA免疫联合转化治疗前的常规H&E活检中,肿瘤浸润淋巴细胞、淋巴细胞聚集、未成熟纤维化和含铁血黄素沉积等免疫相关病理特征,已经能够组合成一个具有预后分层能力的ITPS。 病理AI的切入点在于构建H&E免疫相关特征自动识别与复合评分模型,系统量化这些微环境征象并形成类似ITPS的数字化评分,用于iCCA免疫联合治疗前的疗效分层和预后评估。🔷1420 Tumor Budding in Hepatocellular Carcinoma Patients Treated by Immune Check Point Inhibitor Based Conversion Therapy: Prognostic Value and Its Relationship with Tumor Microenvironment在ICI转化治疗后的肝细胞癌中,tumor budding仍然保留了很强的预后信息。 病理AI的切入点在于构建治疗后HCC的tumor budding自动识别与微环境联合量化模型,在标准化评估TB负荷的同时,进一步整合包膜完整性、病理反应和基质/免疫相关形态特征,用于ICI转化治疗后患者的风险分层与复发预警。🔷1517 Divergent Tumor Morphologies and Stromal Compositions Between Primary and Metastatic Pancreatic Ductal AdenocarcinomasPDAC的原发灶与不同转移部位并不是简单复制关系,尤其肝转移灶会出现更致密活跃的肿瘤腺体、更疏松纤维化且免疫缺陷的间质。 病理AI的切入点在于构建原发—转移灶形态与间质成分对比量化模型,自动识别不同部位PDAC的腺体密度、细胞活性、纤维间质松紧度及免疫相关形态差异,用于转移灶识别、预后分层以及潜在治疗敏感性研究。🔷1524 Optimizing Tumor Epicenter Identification in Whipple Specimens Using the Whole–Mount Axial Sectioning Grossing TechniqueWhipple标本中肿瘤原发部位的判断很大程度上取决于大体取材方式本身,整块轴位切开并全景提交能够更好保留解剖连续性,从而更准确地识别壶腹部或胰内胆总管周围的肿瘤中心,并提高对LVI、PNI等关键病理特征的检出。这更像一个grossing与病理流程优化问题。AI如果切入,可能不是传统显微图像分类,而是联合整片数字病理、取材位点信息甚至大体照片,辅助确定肿瘤epicenter或优化取材路径。🔷1529 Weighted Viable Tumor Percentage Outperforms Alternative Quantitative Methods in Predicting Recurrence of Neoadjuvant-Treated CAP Grade 1-2 Pancreatic Adenocarcinoma这是非常适合病理AI的治疗反应评估问题。重点不是简单地算viable tumor percentage,而是比较不同量化方法,看看哪一种更能预测复发。AI在这里的价值,不只是自动分割和计量,还在于帮助重新定义更合理的病理指标。🔷1595 IMPACTS Study: Independent-validation of Modified Pulmonary Adenocarcinoma Classification on T Stage≤3cm肺腺癌中,决定T分期的间质浸润判断并不是一个稳定的“常识性病理指标”,其重复性高度依赖病例本身的明确程度,而引入改良判读标准和辅助染色虽能改善浸润与肿瘤大小评估,但对塌陷、次要/第三组织学模式等难点仍帮助有限。 病理AI的切入点在于构建肺腺癌浸润识别与分期辅助模型,把当前重复性较差的早期肺腺癌pT评估转化为更标准化、更可重复的数字病理判读工具。🔷 1604 Tumor Spread Through Air Spaces (STAS) Predicts Recurrence in Non-Small Cell Lung Cancer: A Single-Institution Retrospective StudySTAS是非常典型、也非常值得AI介入的方向。因为它既重要,又常常带有定义争议和观察者差异。AI真正有价值的地方,可能不是一句“有 STAS/无STAS”,而是把相关空间结构、分布方式和可疑程度做得更客观。🔷1636 Pathologic Response in Lymph Nodes after Neoadjuvant Therapy in Non-Small Cell Lung Cancer: Tumor Bed Extent, Not Viable Tumor%, Drives Survival Associations在NSCLC新辅助治疗后,淋巴结病理反应的预后意义可能并不主要取决于残余肿瘤比例,而更体现在肿瘤床的范围与大小上,提示淋巴结反应评估不能简单照搬原发灶MPR的思路。 病理AI的切入点在于构建新辅助治疗后淋巴结肿瘤床自动描绘与量化模型,在标准化评估瘤床直径、面积、活肿瘤比例和坏死比例的基础上,与原发灶反应联合建模,用于更准确的术后预后分层和决策支持。🔷1683 Tumor Budding in Colorectal Carcinoma: Between Prognostic Promise and Practical Uncertainty尽管结直肠癌中的肿瘤出芽已经被纳入ITBCC指南和CAP报告体系,但在实际诊断中,不同病理医生在判读标准、计数方法和报告方式上仍存在明显差异。 病理AI的切入点在于构建肿瘤出芽自动识别与标准化分级模型,通过数字化量化提升一致性和可重复性,推动其从“主观性较强的人工指标”向“更可靠的数字病理指标”转变
  • [智慧病理] AI病理文摘|Advanced Science:纵向病理AI,不只看一张切片!如何用前后两次H&E量化肿瘤的变化?
    目前,大多数病理AI研究仍然基于单个时间点的切片进行诊断或预后预测。然而,同一患者在治疗和随访过程中产生的多次病理标本,可能包含着尚未被充分利用的时间信息。近期发表于Advanced Science的一项研究,通过量化膀胱癌患者前后两次H&E切片的细胞核形态变化,探索了利用纵向病理数据描述肿瘤进展的新思路。这项研究的意义或许不仅在于发现了哪些形态学指标,更在于为病理AI提供了一个值得关注的研究方向:从静态识别肿瘤特征,走向动态量化肿瘤变化。一、病理AI为什么总是在分析单个时间点?过去几年,随着病理视觉基础模型和全切片分析技术的发展,病理AI已经能够从常规H&E切片中提取越来越丰富的信息。从肿瘤诊断、组织学分级到基因突变预测、治疗反应及预后评估,绝大多数研究采用的都是相似的技术路线:获取某个时间点的病理切片,提取形态学或深度学习特征,再与临床终点建立关联。这种研究模式取得了不少成果,但存在一个容易被忽视的问题:单个时间点的病理切片只能反映肿瘤在某个时刻的组织学状态,却无法直接告诉我们肿瘤正在如何变化。例如,两个患者的肿瘤可能具有相似的组织学分级和细胞核异型性,但其中一位患者的肿瘤可能长期保持相对稳定,另一位患者则可能在近期出现了明显的形态学改变。仅从当前切片来看,两者可能难以区分,但如果能够获得此前的病理标本,就有机会通过前后的形态变化获得额外信息。实际上,临床诊疗并不总是只产生一次病理标本。对于需要重复活检、手术或长期随访的疾病,同一患者可能积累多个时间点的组织样本。特别是在接受新辅助治疗的肿瘤患者中,治疗前穿刺活检与治疗后手术标本本身就构成了天然的纵向病理数据。遗憾的是,这些来自不同时间点的病理切片,在不少计算病理研究中仍然被当作彼此独立的样本处理,其蕴含的时间变化信息并没有被充分利用。二、研究设计:把两次病理切片组成一个分析单元近日,徐州市中心医院联合东南大学、江苏师范大学等机构的研究团队在Advanced Science发表了一项关于膀胱癌纵向数字病理分析的研究。研究利用同一患者不同时间点的H&E病理切片,量化细胞核形态的动态变化,并探索这些变化与肿瘤进展之间的关系,为利用连续病理标本研究肿瘤演变提供了新的思路。膀胱癌是开展此类研究比较合适的疾病,因为部分患者,尤其是非肌层浸润性膀胱癌患者,在临床随访过程中会接受重复膀胱镜检查、经尿道肿瘤切除或活检,因而能够形成多个时间点的病理样本。研究者将同一患者较早获取的病理标本定义为T0,较晚获取的标本定义为T1,通过计算两个时间点之间的形态学特征差值,量化肿瘤随时间发生的变化。经过病例筛选和质量控制,研究建立了两个独立的纵向配对队列。其中,中心1作为发现队列,包含86名患者的86对病理切片,涉及35例进展和51例未进展患者;中心2作为独立验证队列,包含96名患者的96对切片,涉及38例进展和58例未进展患者。两个队列的T0至T1中位间隔分别为16个月和12.5个月。研究根据配对期间记录的病理学恶化情况确定进展状态,而单纯肿瘤复发、没有明确病理学进展的病例仍归入未进展组。此外,研究还使用了来自四家医院的1977张H&E全切片图像,建立传统单时间点病理AI分析的参照,并利用TCGA膀胱癌队列进行分子生物学关联分析。不过,这些数据与182对纵向病理样本属于不同的分析部分,并不能都视为纵向研究的验证数据。这项研究在数据组织上的一个关键变化,是不再将每张WSI简单视为独立样本,而是把同一患者的T0和T1组成一个配对分析单元。三、如何量化两个时间点之间的病理形态变化?虽然研究提出了纵向数字病理的概念,但核心技术并不复杂,也没有开发特别新颖的深度学习架构。其主要思路是通过现有的细胞核分割技术,从两个时间点的H&E切片中提取可解释的形态学指标,再计算前后的差异。首先,研究利用Cellpose对全切片中的细胞核进行实例分割,并提取核面积、等效直径、长短轴比例、圆形度和实心度等特征。其中,等效直径并非独立测量的核直径,而是根据核面积换算得到的等面积圆直径。随后,研究将细胞核特征汇总至局部组织区域及切片层面,从细胞核大小、形状规则性、局部细胞数量和空间组织结构等维度描述病理形态。值得注意的是,研究不仅分析整张切片的平均核形态,还利用500微米的空间网格,分析不同组织区域中细胞核大小及数量的分布情况。这使研究者能够进一步判断,所谓的形态变化究竟只是少数局部区域出现异常,还是在更大范围内发生了分布性改变。完成两个时间点的特征提取后,作者使用一个相当直接的方式计算纵向变化:用T1的特征值减去T0的特征值。这意味着,如果某个患者的平均细胞核面积在T1大于T0,那么该指标的变化量为正;反之则为负。与传统单时间点研究相比,这种分析的区别不仅在于多使用了一张切片,而在于把研究对象从某个时间点的绝对形态特征,转变为同一患者的形态变化方向及幅度。另外需要说明的是,T0与T1来自不同时间的独立病理标本,并不是对同一组织区域进行精确配准。因此,研究并没有追踪某个具体细胞核如何变化,而是比较两个时间点整体细胞核形态及其空间分布的统计差异。四、主要发现:肿瘤进展伴随着细胞核大小的纵向变化通过比较进展组与未进展组的纵向形态特征,研究者发现,细胞核大小的变化是其中比较突出的信号。在18项两个中心共有的纵向特征中,有11项表现出相同方向的进展关联,但具体效应强度存在明显的中心差异。尤其是在独立验证队列中,细胞核等效直径和核面积的变化与病理进展显著相关。平均等效核直径变化的标准化效应量为0.72,平均核面积变化的效应量为0.68,两项指标经多重检验校正后的FDR均为0.0039。进一步观察两个时间点的变化轨迹,可以发现,进展组的平均核直径和核面积总体呈现上升趋势,而未进展组则呈现下降趋势。这说明,与其仅仅考察某张切片中的细胞核是否较大,考察同一患者的细胞核是否在不同时间点之间出现了增大的趋势,也可能具有临床意义。当然,这项发现并不是在两个中心都得到了同等强度的验证。中心1中对应的核大小变化效应较弱,未达到统计学显著性。作者进一步开展了限定肿瘤区域、调整治疗因素、改变细胞核分割参数,以及采用更严格病理进展定义等敏感性分析,中心2的主要结果依然成立。例如,仅将病理分期升高视为进展,而不将单纯分级升高纳入进展时,中心2的核直径变化仍然具有统计学意义。这在一定程度上降低了研究结果仅仅来自组织学分级定义与细胞核异型性相互重叠的可能性。不过,中心之间效应强度不一致,也提示这些纵向特征仍然受到组织取样、病例构成和技术差异的影响。不只是平均核大小发生变化,空间分布也在改变。为了进一步理解核大小变化的组织学分布,研究者还分析了500微米空间网格中的细胞核面积分布。研究发现,在进展患者中,细胞核面积增大的现象并不局限于某几个局部区域,而是在更广泛的组织空间分布中表现出来。其中,反映核面积分布整体上移的指标具有较明显的组间差异,效应量达到0.80,FDR为0.007。这一结果提示,纵向病理变化不仅可以表现为某个平均特征值的改变,也可能体现为组织内某类形态学表型的整体分布发生变化。对于计算病理而言,这一点值得关注。未来进行纵向研究时,除了比较两个时间点的平均特征,还可以进一步分析肿瘤亚区域比例、细胞群组成、局部空间结构及不同组织学表型的分布变化。五、这些形态变化是否具有生物学意义?仅仅观察到形态学特征在不同时间点发生变化,还不足以说明这些变化能够反映真实的肿瘤生物学演变。因此,作者进一步引入了Ki-67免疫组化和TCGA转录组数据,为研究结果提供补充证据。在中心2具有Ki-67数据的病例中,研究发现T1的Ki-67指数与核大小变化相关指标之间存在一定的正相关,相关系数为0.267,P值为0.0468。对于同时具有T0和T1 Ki-67检测结果的28例患者,进展组的Ki-67变化量也显著高于未进展组。这一发现提示,细胞核形态变化可能与肿瘤细胞增殖活性的改变具有一定联系。不过,相关程度并不强,而且样本量较小,因此更适合作为支持性证据。另一方面,研究使用TCGA膀胱癌数据,分析从H&E中提取的核大小相关形态学指标与转录组特征之间的关联。结果显示,核大小相关指标与CD8 T细胞活性、细胞毒性、干扰素反应等多种免疫相关转录组特征呈负相关。这些结果为理解核形态与肿瘤生物学状态之间的联系提供了线索,但需要强调,TCGA分析使用的是单时间点数据,并没有验证同一患者前后两次切片的分子状态如何变化。因此,目前还不能据此确认核大小变化与免疫微环境演变之间存在明确的机制联系。六、与纵向分析形成对照:单时间点病理AI模型表现如何?前面的分析表明,同一患者在不同时间点的病理形态变化可能包含与肿瘤进展相关的信息。那么,相比之下,传统的单时间点病理AI模型又能够从切片中获得哪些信息?为此,作者还利用来自四家医院的1977张H&E全切片图像,开展了单时间点病理AI建模分析,分别比较了仅使用临床信息、仅使用UNI2病理基础模型特征,以及临床与病理特征融合的模型表现。在中心1的内部验证中,三种模型的AUC分别为0.72、0.69和0.75,融合模型表现最好。但当训练好的模型直接应用于其他三个中心时,融合模型的AUC分别为0.65、0.78和0.61,表现出明显的跨中心差异。此外,融合模型还能够对患者的无复发生存期进行风险分层,在中心1和合并外部验证队列中的风险比(HR)分别为5.18和2.22。这些结果说明,单时间点病理切片本身已经能够提供一定的临床风险信息,但模型的跨中心泛化能力仍然存在挑战。不过,需要注意的是,这部分研究与前面的纵向形态分析实际上回答了不同的问题。单时间点模型主要评估患者的复发风险,而纵向分析关注的是同一患者前后两次病理标本的形态变化及其与病理进展的关联。作者并没有在相同的临床终点上直接比较两种方法,因此尚不能证明纵向形态特征能够提供超越单时间点模型的预测价值。从这个角度来看,本文的意义并不是证明两张切片一定比一张切片预测得更准确,而是尝试从连续病理标本中提取单张切片无法直接描述的时间变化信息。 至于这些纵向变化是否能够为现有病理AI模型带来额外的临床价值,仍然需要后续研究进一步验证。七、这项研究真正值得关注的是什么?如果只从技术角度来看,这项研究所使用的Cellpose分割、形态学特征提取和统计比较,都不是特别新颖的方法。论文的创新性更多体现在研究问题和数据组织方式上。1. 从静态表型识别走向纵向变化量化传统病理AI更关注某个时间点的病理状态,例如切片中是否存在高危形态学特征,或者这些特征与患者预后之间有什么关系。纵向分析则进一步提出了另一个问题:同一患者的病理表型在一段时间内发生了哪些变化,这些变化又与疾病进展或治疗反应存在什么关系?这两类问题并不相同,也未必能够被同一种模型完全解决。特别是对于具有连续病理样本的疾病,患者自身的早期样本可以提供一个个体化的参照。即使两名患者在后一个时间点具有相似的病理形态,他们相对于各自早期状态的变化幅度,也可能完全不同。这种思路有机会使病理AI从单纯识别高风险形态,进一步发展到描述肿瘤表型的动态变化。2. 不一定需要复杂的新模型,也可以提出有价值的病理AI问题当前病理AI研究正在快速引入新的视觉基础模型、多模态融合架构和复杂的弱监督学习方法。相比之下,这项研究最核心的纵向分析,使用的是可以直接解释的细胞核形态学特征及其前后差值。这提醒我们,病理AI研究的创新并不一定需要开发全新的模型结构。合理利用现有数据、重新定义分析单元,以及提出具有临床意义的新问题,同样可能产生有价值的研究结果。当然,使用简单方法证明纵向变化可以被量化,只是第一步。这项研究尚未证明,纵向形态学特征能够提供超越单时间点病理指标的独立临床预测价值。3. 纵向病理分析还有不少值得解决的方法学问题尽管研究思路具有启发性,但真正开展高质量的纵向病理AI研究仍然面临一些挑战。首先,不同时间点的病理标本往往来自不同取样部位,组织成分、肿瘤比例及标本类型也可能存在明显差异。因此,观察到的形态变化不一定全部来自肿瘤生物学演变,还可能包含取样偏差。其次,治疗本身也会导致组织学改变。如果研究对象是治疗前后标本,那么肿瘤细胞消失、纤维化、炎症浸润及坏死比例变化,都可能成为重要的纵向信号。此时必须区分治疗诱导的变化、疾病自然进展,以及不同标本类型带来的差异。另外,这篇论文主要研究的是已经发生的病理进展与前后形态变化之间的关联,而不是在T0预测未来是否进展。只有获得T1切片后,才能计算完整的T1-T0变化量。因此,这种方法更接近于对疾病演变进行量化描述,而不能直接等同于提前预测进展风险。未来如果希望将纵向病理特征用于临床预测,还需要进一步明确预测的时间点和临床终点,例如利用T0和T1之间的变化,预测T1之后的复发或生存结局,并证明这些变化特征较单时间点模型具有额外价值。八、纵向病理AI,可能是一个值得进一步探索的研究方向从更广泛的角度来看,膀胱癌并不是唯一具有纵向病理数据的疾病。在乳腺癌、食管癌等接受新辅助治疗的患者中,治疗前穿刺活检与治疗后手术标本可以构成天然的配对数据。通过量化前后肿瘤细胞形态、组织结构、肿瘤间质比例及免疫细胞空间分布的变化,可以尝试建立更全面的病理疗效表征,并进一步研究这些变化与远期复发或生存结局之间的关系。对于炎症性肠病等需要长期组织学监测的疾病,不同随访时间点的活检标本同样可能用于量化炎症细胞浸润、腺体结构损伤及组织修复的动态变化。此外,随着病理视觉基础模型的发展,纵向病理分析也未必需要局限于人工定义的核面积、形状及密度等特征。未来可以利用基础模型分别提取不同时间点的组织表征,再通过特征差异、跨时间点交互建模等方法,学习传统病理组学指标难以描述的复杂形态变化。不过,基础模型能否真正学习到有生物学意义的时间变化,而不是放大不同时间点之间的染色、取样和扫描差异,仍然需要专门的研究设计与验证。从这个意义上说,纵向病理AI的价值,可能不在于简单地把两张WSI输入同一个模型,而在于如何建立一个能够区分真实组织学变化与技术、取样差异的量化框架。这篇Advanced Science研究还不能证明纵向病理分析一定优于传统的单时间点模型,其核心发现也需要在更大规模、取样更规范的独立队列中进一步验证。但它提供了一个值得关注的研究视角:临床长期积累的连续病理标本,除了用于每一次独立的诊断,是否还能够被重新组织起来,成为研究疾病演变的纵向数据资源?当越来越多的研究致力于从一张切片中提取更多信息时,或许也值得思考另一个问题:相比不断提高单张切片的特征提取能力,我们是否也应该开始关注同一患者不同时间点的病理切片之间,究竟发生了什么变化?
  • [技术干货] 医疗 StructBERT 实测笔记:102M 的“医学底座”,为什么医生和开发者都该先搞清楚它不是什么
    做医疗 NLP 的人大概都有过这种体验:拿一个通用中文 BERT 直接微调病历分类或者实体识别,跑出来的结果总差一口气。差的那口气往往不在标注数据量上,而在模型进医疗领域之前,根本没怎么见过“上消化道出血”“门静脉高压”“靶向治疗”这类术语的搭配方式。通用语料里“苹果”和“手机”的共现频率,远高于“胰腺”和“占位性病变”。医疗语言有自己的词汇分布和句法惯性,通用预训练模型对此是钝感的。基于 StructBERT 的医疗领域中文 Base 预训练模型(damo/nlp_medical_structbert_backbone_base),解决的就是这口“气”的问题。但动手之前得先把一件事说清楚:它是一个预训练底座(backbone),不是开箱即用的诊断模型。这个定位决定了它的使用方式和适用人群。StructBERT 是什么,医疗版又做了什么StructBERT 是阿里在 2019 年提出的预训练模型(arXiv:1908.04577),核心思路是在标准 MLM 之外,把语言结构显式加进预训练目标:词级的“打乱词序还原”和句级的“句子顺序预测”。简单说,它不只学“某个位置该填什么词”,还学“词和词之间的顺序关系是否合理”“两句话的先后逻辑对不对”。这个设计对中文尤其有价值,因为中文没有形态变化,词序和句序承载了更多语法与语义信息。医疗版的改动本身并不复杂:模型结构完全沿用中文 StructBERT-base(12 层 / 768 隐藏维度 / 12 头,约 102M 参数),在医学数据上继续做 MLM 预训练。没有改架构,没有加新模块,就是在医疗语料上把通用模型“泡”了一遍,让它的词向量和注意力模式向医学语言分布偏移。这种“继续预训练”的做法在领域适配里是最朴素也最稳妥的路径之一。它不承诺奇迹,但能实打实地让模型在遇到“术后观察要点”“病理分期”“免疫组化”这类表达时,激活更合理的内部表示。对于下游的序列标注、句子分类、句子相似度任务,这个底座的起点比通用 BERT 更靠近医疗语义空间。对医生读者:它不看病,它帮你把“话”变成“数据”如果你是从临床侧过来的,最需要厘清的一点是:这个模型不输出诊断结论,也不读影像。它的工作对象是文本——病历、医嘱、检查报告、问答记录。它能做的是把这些自由文本变成机器可计算的结构化表示,从而支撑几类实际场景:一是病历结构化与质控。把一段出院小结喂进去,微调后的模型可以辅助抽取“主诉、现病史、手术方式、病理结果”等字段,或者判断一份病历的完整性。二是医疗问答与检索的底座。患者问“胃出血一般住院多久”,模型能把这个问题和知识库里的段落做语义匹配,而不是靠关键词硬碰。三是术语归一与相似度判断,比如判断两条诊断描述是否指向同一概念,辅助编码或去重。但它有明确的边界:训练数据有限,页面明确写了“效果可能存在一定偏差”,且“数据评估及结果:暂无”。这意味着它没有一份官方背书的基准分数供你直接引用。对临床场景而言,这不是一个小问题——任何要进入实际工作流的模型,都需要在你们自己的数据上重新验证。把它当作一个起点更好的底座,而不是一个“已验证可用”的成品,是更负责任的态度。对开发者:微调路径和那个值得注意的示例模型页面给的示例是用 CBLUE 的 KUAKE-QQR 数据集做句子相似度微调。KUAKE-QQR 是中文医疗问答里的 query-query 相关性任务,判断两个患者提问是否语义等价。选这个例子挺合适:它直接对应医疗检索里的“同义问句识别”,也是双塔召回或 FAQ 匹配的基础能力。代码逻辑不复杂:通过 cfg_modify_fn 把 backbone 挂到 sentence_similarity 任务上,指定 query1、query2、label 三个字段,用 nlp-base-trainer 跑训练。几个实际使用时值得留意的点:第一,total_iters 的写法要按自己的数据量改。 示例里 int(len(dataset['train']) / 32) * cfg.train.max_epochs 是按 batch size 32 估算的,如果你的 batch size 或数据规模不同,这个 scheduler 的总步数会偏,影响学习率衰减曲线。第二,示例把 workers_per_gpu 设成 0 是为了演示环境稳定,真实训练时应该按机器配置调大,否则数据加载会成为瓶颈。第三,labels: ['0', '1', '2'] 是三分类设定,如果你的任务标签空间不同(比如二分类的“相关/不相关”),这里必须同步改,否则训练会直接报错或静默出错。另外,102M 的 base 规模意味着它在单卡甚至消费级显卡上就能微调,推理部署也轻量。对于医院内网或边缘环境,这个体积是友好的——不需要动辄 A100 集群,一张 24G 卡就能跑起来。它适合谁,不适合谁适合:手头有医疗文本标注数据、需要一个领域适配起点、任务落在分类/序列标注/句子相似度/检索匹配范围内的团队。尤其是那些已经在用通用 BERT 做医疗 NLP、但觉得效果“差一口气”的项目,换这个底座做对照实验,成本很低。不适合:期待直接调用就能输出诊断建议的场景;需要生成式能力(它只做理解,不做生成);以及没有自有验证数据、打算“先上线再说”的用法。页面那句“请用户自行评测后决定如何使用”,在医疗语境下不是免责套话,是实打实的工程要求。总结医疗 StructBERT-base 的价值不在于它有多新——StructBERT 是 2019 年的架构,继续预训练也是成熟做法——而在于它把“领域适配”这件事做成了一个102M、可微调、部署轻、接口标准的现成底座。对开发者,它是一个低成本的对照基线;对医生和临床信息团队,它是把自由文本转成可用数据的起点,但必须配上一轮本地验证。医疗 NLP 没有“开箱即用”这回事,这个模型也没打算假装有。相关病例模型详情页:cid:link_0
  • [技术干货] coROM 医疗文本表示模型实测:256 维的“小而准”,为什么在医疗召回里比通用大模型更实用
    最近找到一个医疗模型coROM 中文医疗版,体验后想分享下感受。不是因为它参数大,而是它在“医疗 query 和医疗段落的相关性”这件事上,表现出了一种通用模型很难替代的干脆——你给它一个问句和一堆候选,它能把“术后观察要点”和“血压体温脉搏呼吸监测”这种语义上对得上、字面上未必重合的段落挑出来,而不是被“住院时间大概多久”这种泛化表述带偏。把页面说明和实际跑下来的感受整理一下,给同样在做医疗检索的朋友一个参考。它到底在做什么coROM 是个双塔(Dual Encoder)文本表示模型。Query 和 Document 各自独立过一遍编码器,取 [CLS] 位置的输出作为固定维度的向量,然后用余弦距离(页面代码里实际算的是 L2 距离,后面会聊这个细节)度量相关性。双塔的好处是工程上的:文档库可以离线批量编码建索引,线上只编码 query 做近似最近邻搜索,千万级候选下延迟可控。但它不是“BERT 套医疗数据”。底座是 ROM(Retrieval-Oriented Model) 系列,一个预训练阶段就把“检索匹配”作为优化目标的模型,而不是通用语言理解出身的 vanilla BERT。检索任务的目标函数和语言建模本来就不是一回事:前者要把相关的 query-passage 拉近、不相关的推远,后者关心的是 token 级预测或句子分类。ROM 底座让模型在进医疗微调之前,就已经对“匹配关系”更敏感。医疗适配则是在 Multi-CPR 数据集的医疗子集上完成的。这个数据集是 SIGIR 2022 的 Multi-CPR 论文配套的,覆盖通用、电商、医疗三个领域。训练分两阶段:第一阶段从官方文档集随机采样负样本,第二阶段用 Dense Retrieval 挖掘难负样本重新训练。这个二阶段设计是效果提升的关键——随机负样本太“容易”了,模型学不到细粒度的相关性边界;难负样本才是真正逼着模型去区分“相关但不完全匹配”和“确实不相关”的东西。它的效果:BM25 到 CoROM 的差距比想象中大页面给的 Multi-CPR 医疗领域召回评估数据很能说明问题:模型MRR@10Recall@1000BM2518.6948.20CoROM-tiny(256 维)22.7864.54CoROM-base(768 维)33.9173.30BM25 的 Recall@1000 只有 48.20,意味着传统词频检索在一半以上的 query 上,前 1000 个候选里根本找不到相关段落。CoROM-base 把这个数字拉到 73.30,MRR@10 也从 18.69 跳到 33.91——相关结果不仅被召回了,而且排得更靠前。tiny 版虽然指标低一截,但 256 维、64.54 的 Recall@1000,在“先粗筛再精排”的多阶段链路里作为第一层召回是完全够用的,存储和计算开销却小得多。这个对比里有个容易被忽略的点:BM25 在医疗场景的弱势不是偶然的。医疗 query 和文档之间的词汇重叠度天然偏低,患者问“上消化道出血手术大概多久”,文档写“术后应观察血压、体温、脉搏、呼吸变化”,字面上几乎没有交集,词频模型无从下手。稠密向量表示的价值就在这里。一个值得留意的细节:score 是 L2 距离,不是余弦页面代码示例里,scores 字段输出的数值是 75.6、62.2 这种量级,说明里写得很清楚:“scores 中的 score 计算两个向量之间的 L2 距离得到”。这和前面“通过余弦距离度量相关性”的表述是有出入的。实际用的时候要注意这一点:如果你按余弦相似度的直觉去设阈值(比如 0.7 以上算相关),会对不上。L2 距离的数值范围取决于向量模长,不同模型、不同版本之间不能直接横向比较。更稳妥的做法是在自己的验证集上校准一个阈值,或者干脆只用相对排序、不用绝对分数做硬截断。这种文档表述和代码实现之间的细微不一致,在工程接入时是很容易踩的坑。另外,默认 pipeline 的 max_length 是 128,页面训练超参里 max_sequence_length 也是 128。医疗段落如果偏长(比如完整的术后护理说明),超出部分会被截断,这对召回精度有实际影响。如果候选文档普遍较长,建议在 pipeline 配置里显式调大 max_length,或者先做段落切分再编码。训练和微调:4 张 V100 就能跑页面给了完整的训练示例代码,基于 dureader-retrieval-ranking 数据集,用的是 ModelScope 的 nlp_sentence_embedding_trainer。训练配置是 4 张 NVIDIA V100、3 个 epoch、batch_size 64、learning_rate 5e-6、AdamW。这个资源门槛对中小团队相当友好,意味着你可以拿自己的医疗标注数据替换掉示例数据集,在单机四卡上完成领域微调。模型 ID 有两个规格:damo/nlp_corom_sentence-embedding_chinese-base-medical(768 维)和 damo/nlp_corom_sentence-embedding_chinese-tiny-medical(256 维)。base 版精度优先,tiny 版效率优先,按你的候选规模和延迟要求选。边界要说清楚官方文档在局限性里写得很直白:模型在 Multi-CPR 医疗数据上训练,其他垂直领域的效果会下降,请自行评测后决定是否使用。这不是客套话。coROM 的领域专用性是一种明确的取舍——它在医疗检索上换来了更精准的语义对齐,代价是金融合同匹配、法律条文检索这类场景不该指望它。如果你的系统是跨领域混合检索,要么额外评估,要么考虑通用版本的 coROM。总结coROM 医疗版的价值不在于“又一个医疗文本模型”,而在于它把检索专用底座 + 难负样本二阶段训练 + 医疗领域数据这三件事叠在了一起,在召回环节给出了比 BM25 高出一大截、比通用模型更贴合医疗语义的候选质量。256 维的 tiny 版让它在存储和延迟上足够轻,4 张 V100 的微调门槛让它能被中小团队真正用起来。做医疗问答、临床知识检索、健康信息匹配的朋友,值得拿自己的数据跑一轮召回评估,重点看 Recall@1000 和 MRR@10 这两个指标——它们比任何榜单分数都更接近你实际系统的体验。相关病例模型详情页:cid:link_0
  • 医疗AI使能平台核心架构特性介绍(二)——端云协同推理
    一、技术架构与设计理念端云协同推理是华为云医疗AI使能平台的另一核心架构特性,其核心设计理念是“推理在本地,训练在云端”——推理任务在本地GPU或消费级PC上执行,云端负责模型管理和调度。这一架构针对病理AI领域普遍存在的本地医院缺少算力资源这一核心难题,将训练完成的模型下沉至本地或边缘端进行推理,既保障诊断实时性,又通过安全机制确保病理数据合规。平台预置乳腺癌、结直肠癌等推理模型,支持端云大小模型协同推理,云侧和端侧两种推理模式。基层医院无需购置昂贵的GPU服务器,仅凭普通消费级PC即可完成AI推理,带宽需求降低85%,推理速度压缩至秒级。二、部署模式与工作流平台的端云协同客户端安装后,推理任务在本地GPU上执行,云端负责模型管理和调度。在病理图像推理环节,平台支持两种推理模式:云上推理适用于算力需求较高的复杂诊断任务;端侧推理适用于对实时性和数据本地化要求较高的场景。用户可在平台中选择预置模型,上传.svs格式的病理图像文件(单次最多可选择20张),创建推理任务后即时获取AI辅助诊断结果和可视化分析报告。在实际部署方面,方案采用“云上安全存算,以租代建、开箱即用”模式,PIS系统集成周期约一周,无需升级院内网络带宽,本地消费级PC即可承载相关AI推理能力。相比传统院内集中自建模式,首年投入可下降90%,五年总成本可降低40%以上。三、轻量化部署与边缘推理在轻量化部署方面,华为云推出的RuiPath 2.0 Edge版本仅200万参数,可部署在医院普通PC设备上,结合云端协同实现分钟级推理,进一步降低基层硬件门槛。端云协同的推理架构使医院无需购置本地算力集群即可获得顶级AI能力,推理速度压缩至秒级,为基层医疗机构的智慧病理建设提供了高性价比的技术路径。
  • [技术干货] 医疗AI使能平台核心架构特性介绍(一)——云上增训
    一、技术原理与架构设计云上增训是华为云医疗AI使能平台的核心架构特性之一,旨在解决病理AI领域中模型跨院泛化能力不足的根本性难题。由于各医院在制片、染色、扫描等环节存在操作差异,通用病理模型难以在不同医疗机构间实现精准适配,传统方案往往需要从零开始训练模型,数据需求量大、周期长、门槛高。云上增训的技术路径是:医院将本院特色病例数据在云端进行增量训练,让基础大模型快速适配本院疾病谱与诊断习惯。平台支持“少样本训练”能力,医疗机构可以在RuiPath 2.0基础上使用本院数据做二次强化学习,仅需传统训练不到10%的数据,即可生成适配本院业务的定制化病理模型。这一机制显著降低了模型训练的数据门槛与时间成本。二、关键能力与安全设计在训练工具层面,平台将复杂的AI开发流程提炼为“看、训、推”三大核心环节,并细化为8个标准化步骤:数据整理、数据上云、数据集导入、创建数据集、数据集标注与发布、模型训练与部署、模型推理、报告查看。平台为病理医生提供了增训Agent智能助手,在病理系统中深度整合,支持医生无需掌握编程技能即可完成模型训练操作。在数据安全层面,平台采用端云协同混合计算架构,在医院端提取少量疑似肿瘤区域特征上传至云端,节省85%的带宽并实现加密传输;云端基于全密态“可用不可见”机制完成诊断推理与模型增训。通过端到端加密、切片脱敏、云端安全防护、数据保险箱、模型保险箱等能力,保障病理数据在云上专区存储、传输和使用过程中的安全合规,实现数据不出“域”。三、实践成效以邯郸市中心医院为例,该院病理科通过每轮几十张切片的小样本训练,完成了乳腺癌、结直肠癌等模型的本地化优化。乳腺癌模型针对本地病例的有无肿瘤判别准确率从早期约95%提升至接近100%,组织学类型达到90%以上;结直肠活检小标本模型的有无肿瘤准确率达到99%,这验证了云上增训机制在真实临床场景中的有效性。
  • [行业资讯] 构建医疗AI普惠化的社区型使能平台
    一、平台背景与战略定位2026年6月,华为云正式上线“行业AI梦工厂”四大专区,涵盖智慧医疗、具身智能、智能制造、科学计算四大行业。其中,智慧医疗专区是全国首个面向医疗行业的医疗AI社区,医疗AI使能平台于同期升级并开启公测。该平台深度融合了上海交通大学医学院附属瑞金医院的临床实践经验与华为在ICT、云、AI领域的核心技术积累,构建了“场景—模型—平台—社区”端到端的医疗AI支撑体系,并提供全流程的云上工具链。平台的核心目标定位于解决医疗AI落地中的结构性难题。当前国内医疗行业面临三大痛点:优质医疗资源分布不均、病理医生严重短缺、基层诊断能力薄弱。据统计,中国有3.8万家医院,但仅有5000家医院开设了病理科,病理医生不足2万人,市场需求缺口超过14万人,且病理科与病理医生高度集中于少数三甲医院。医疗AI使能平台的设计初衷,正是通过平台化、社区化的方式,将顶级医院的诊断能力转化为基层可用的标准化工具。二、技术基础与生态格局平台的模型底座依托瑞金医院与华为联合研发的瑞智病理大模型RuiPath。该模型覆盖了90%的中国常见癌种和90%的下游诊断任务,通过数据飞轮机制在临床使用中持续迭代优化。RuiPath 2.0版本进一步将诊断任务扩展至205项,覆盖19个常见癌种,在59项下游诊断任务中有42项取得SOTA效果。在生态建设方面,平台采用开放社区模式,面向三甲医院、地市级医院、县域医院及开发者群体开放。目前已有90余家医院接入使用RuiPath病理大模型并入驻华为云智慧医疗专区,覆盖重庆大学附属三峡医院、普洱市人民医院、瑞安市人民医院、石家庄市人民医院等各级医疗机构,标志着国内病理AI进入规模化应用阶段。
总条数:48 到第 页
上滑加载中