-
“行业AI梦工厂” 首款昇腾原生世界模型2026年11月16日 14:00 - 15:30 线上直播
-
在CloudRobo平台创建数据标注任务后,该任务状态显示“失败”时,我们可以从以下几个方面进行排查和解决: 1.1 方法一,鼠标放置在“失败”上,查看系统提示,根据提示获取关键信息。当鼠标放置在“失败”时,通常会出现错误提示。如提示:“Failed to submit the pre-annotation job : the resources are insufficient.Please confirm the resource is enough and try again.”由以上提示可知,引起该任务创建失败的原因是由于专属资源不足引起的,可以查看专属资源池状态,重新配置资源等方式消除失败原因。 1.2 方法二,当出现“数据加载失败”提示时,应考虑数据是否满足数据标注任务的约束条件。当鼠标放置在“失败”时,通常会出现错误提示。如提示:“数据加载失败。详见任务日志”时,应首先排查原始数据是否满足数据标注任务的约束条件:根据华为云官网:文档首页/ 具身智能开发平台 CloudRobo/ 用户指南/ 数据准备/ 数据标注/ 创建数据标注任务(和数据集格式说明)中的约束条件进行排查。需要重点关注的约束条件有:模型预标注:原始数据集需符合LeRobot V2.1或V3格式。数据集中的视角文件夹需以“observation.”开头。如果创建数据标注任务时,开启了“数据预标注”参数:输入数据集(即数据标注任务的“数据集”参数)须选择LeRobot V3数据集格式或LeRobot V2.1数据集格式。如果创建数据标注任务时,未开启“数据预标注”参数:输入数据集(即数据标注任务的“数据集”参数)须选择LeRobot V3数据集格式或满足操作类自定义输入数据集格式。人工审核:原始数据集需符合LeRobot V3格式或包含videos目录,目录下包含不同视角的子文件夹,文件夹下存放视频,单个视频对应一个样本。 1.3 方法三,如果选择了数据预标注,任务失败后上述方法都已排查,可以查看日志进行分析。这里总结了几种不常见的任务创建失败原因(供新手参考):原始视频分辨率过高:日志中可能出现“indices sequence length is longer than the specified maximum sequence length for this model” 。此时建议适当调低“片段采样帧数”或增大“帧采样间隔”可以消除该报错。不同视角的视频时长不一致:如果原始数据是由其它数据转化或人工构造出来的,不是标准的LerobotV2.1或LerobotV3格式,,可能出现不同视角的视频时长不一致情况。此时,建议重新修改视频长度,重新创建任务可将错误消除。 1.4 方法四,可以将问题发在下方评论区或联系CloudRobo助手小超,小超帮您来解答。您可以将问题现象、任务ID发到下方评论区,小超帮您分析并在评论区给您回复。您也可以将任务ID、日志、电话联系方式等重要信息发到小超邮箱,小超分析后单独联系您;(小超邮箱:zhouchao123@h-partners.com,请您务必在邮件中留下您的电话联系方式,我们会严格为您保密!) 欢迎大家在下方评论区分享您的数据标注失败原因和排查经验,让我们一起学习交流!
-
问题描述:CloudRobo平台上面上传数据,需要如何操作?问题示例:用户在模型训练中需要使用自有数据时,如何上传自有的数据?上传路径的具体操作步骤是什么?处理方式:在 CloudRobo 上传数据,支持两种方式:方式一:OBS路径直接选择1.查询当前工作空间的默认存储路径。2.通过 OBS 将数据上传至该路径。3.后续数据处理、模型训练等,可直接选用该路径下的数据。方式二:空间资产-数据选择1.登录 CloudRobo 控制台,进入「空间资产 → 数据」菜单。2.从对象存储服务(OBS)选择数据文件,并注册至空间资产。3.后续进行数据处理、模型训练等操作等,可直接选用空间资产下数据。4.优势:通过选择空间资产数据集,数据有命名,操作更便捷、选择更直观。
CloudRobo小助手小琳
发表于2026-11-10 09:50:14
2026-11-10 09:50:14
最后回复
yd_253000176
2026-11-12 09:22:58
30 1 -
一、最值得关注的地方:基础模型越来越多之后,我们还需要继续寻找“唯一最优”吗?这项研究最值得关注的,并不是作者把五个病理基础模型组合在一起,也不是ELF在多少项任务中取得了更高的性能,而是它提出了一个基础模型时代越来越现实的问题:当不同模型各有所长、没有任何一个模型能够稳定赢下所有任务时,我们究竟应该继续寻找那个“最好的基础模型”,还是应该学习如何利用它们之间的差异?ELF选择了后者。它不再把UNI、CONCH、Virchow2等模型看作相互竞争的替代品,而是把它们视为观察同一张病理切片的不同视角,再通过切片级预训练将这些视角组织成统一表征。这个思路意味着,病理基础模型的发展可能正在进入新的阶段:研究重点不再只是训练一个更大的图像编码器,也开始转向如何选择、组合和复用已经存在的模型。从这个角度看,ELF的意义并不主要来自“集成”本身。模型集成早已不是新概念,多个特征的拼接也谈不上方法学突破。它真正向前推进的一步,是把原本需要在每个具体任务中重新学习的切片级融合,提前放进大规模预训练,让下游任务只需使用一个相对简单的预测头。这相当于把研究问题从“如何针对一个任务训练MIL”,改成了“能否预训练一个可以迁移到不同任务的切片阅读方式”。但这项工作也暴露出一个无法回避的矛盾:ELF在表征层面把五个模型整合成了一个统一结果,在计算层面却没有真正把五个模型变成一个模型。每次分析新切片时,五个基础模型仍然需要全部参与特征提取。因此,评价ELF不能只看它是否提高了AUC,还要看这种提升是否足以抵偿额外的计算、硬件与部署成本。它证明了多模型表征可以被有效整合,却还没有完全证明这种整合方式就是临床或常规科研应用中的最优选择。这也是本文最值得讨论的地方:ELF一方面展示了基础模型集成可能带来的表征上限,另一方面也提醒我们,基础模型时代真正稀缺的也许不再只是性能,而是能够在性能、数据效率和计算成本之间取得平衡的方法。 二、研究背景与问题定义近年来,病理基础模型迅速增加。不同模型使用的数据来源、预训练目标、图像倍率和模型结构并不相同,因此在不同任务上的表现也不稳定。一个模型可能擅长组织分型,另一个模型可能更容易捕捉肿瘤微环境或分子相关形态。已有基准研究反复表明,并不存在一个在所有任务上始终领先的病理基础模型。这给实际使用带来了一个很直接的问题:面对一个新的研究任务,应该选择UNI、CONCH、Virchow2,还是H-Optimus?一种思路是知识蒸馏,即让一个学生模型学习多个教师模型。但蒸馏通常希望把多个模型压缩成一个相对一致的表征,可能同时抹平模型之间有价值的差异。另一种思路是直接拼接多个模型的特征,再为具体任务训练MIL,但这种方法会增加特征维度,也需要足够多的任务标签来学习融合权重。ELF试图在两者之间找到第三条路:保留不同基础模型各自的表征,不把它们压缩成一个新的Patch级基础模型;同时利用大规模预训练,提前学好切片级聚合,减少每个下游任务重新训练MIL的需要。因此,这项研究真正重新定义的问题是:能否在不重新训练Patch基础模型的情况下,利用已有基础模型之间的差异,预训练一个可迁移的切片级基础模型?这个问题本身是有价值的。随着基础模型越来越多,未来病理AI的重点未必一直是训练更大的视觉编码器,也可能转向如何选择、组织和复用已有模型。 三、方法学拆解1. 五个基础模型并不是在最后简单投票作者首先在10倍倍率下切取组织图块,然后分别使用UNI、CONCH v1.5、GigaPath、Virchow2和H-Optimus-0提取特征。这些模型的特征维度并不相同,从768维到1536维不等。ELF没有直接在patch层面粗暴地拼接所有特征。它先把不同模型的特征临时调整到统一的768维空间,用一个共享的八头注意力模块学习哪些图块更值得关注;得到注意力权重后,再用这些权重聚合各基础模型原始维度的特征。也就是说,统一维度主要用来学习“看哪里”,最终保留下来的仍然是各模型原有的特征内容。五组切片级特征最后再进行拼接,形成统一的ELF表征。这一设计有一点巧思:它试图共享切片阅读逻辑,又不完全抹掉各基础模型的个性。与零填充、掩码或为每个模型单独学习投影相比,这种“统一计算注意力、保留原始特征”的方式总体表现更好。不过,从系统角度看,ELF最终仍然依赖五套特征。它更像一个位于多个基础模型之上的元编码器,而不是能够独立替代五个模型的新基础模型。2. 真正的方法学增量在预训练逻辑ELF使用了两类对比关系。第一类是跨模型一致性:同一块组织经过不同基础模型编码后,被视为一对正样本。模型由此学习,不管底层特征来自UNI还是Virchow2,同一组织区域在切片级语义上都应该保持一致。第二类是空间一致性:同一张切片中相互重叠的两个区域被视为正样本,而相距较远、没有重叠的区域则构成负样本。这样可以避免模型只学习“来自同一张切片”,而忽略不同空间区域之间的形态差异。在此基础上,作者又加入了两项弱监督任务:判断切片是肿瘤还是非肿瘤,以及判断组织来自哪个器官。它们不需要精细标注,却为对比学习提供了较为明确的病理语义。这一部分才是ELF最值得肯定的地方。它没有仅仅依赖无监督对齐,而是把跨模型一致性、空间差异和粗粒度临床标签组合起来,使切片级表征既不过度依赖某一个基础模型,又不至于变成缺少语义方向的平均特征。作者最终使用来自11个公开数据集、覆盖20个解剖部位的53,699张切片进行预训练,训练持续300个epoch,使用8张H100显卡。下游任务中,ELF编码器被冻结,只训练逻辑回归等简单预测头。因而论文测试的核心不是端到端微调能力,而是冻结表征是否足够可迁移。3. “0.15M参数”不能代表整个系统的体量作者强调ELF切片编码器只有约15万个参数,少于COBRAII、TITAN和Prov-GigaPath的切片编码器。单看新增的聚合模块,这个数字没有问题。但临床部署关注的不是新增模块有多小,而是完成一次预测需要加载和运行多少模型。ELF的15万参数并不包含五个被冻结的patch基础模型。把它称为一个轻量切片编码器可以,把整个系统理解成只有15万参数,则会严重低估实际计算和部署复杂度。这也揭示了ELF的一个基本特征:它降低的是下游训练成本,而不是端到端推理成本。 四、结果与验证表现1. 诊断任务:部分提升明确,但不是所有任务都大幅领先在BCCC、BRACS和EBRAINS的六项疾病分型任务中,ELF总体优于Prov-GigaPath、CHIEF和TITAN。相对于表现第二的TITAN,平均提升约2.2个百分点。在较困难的BRACS七分类任务中,ELF的平衡准确率为0.457,TITAN为0.393;但在EBRAINS 30分类任务中,ELF为0.757,TITAN已经达到0.749,差距不到一个百分点。作者通过t-SNE展示了ELF对不同脑肿瘤亚型更清晰的聚类结果,并发现不同基础模型生成的注意力图和切片表征相关性较低。不过,低相关性只能说明不同模型“不一样”,并不能自动证明这些差异都是互补且有用的。真正更有说服力的证据来自集成数量实验:随着基础模型从一个增加到五个,六项任务的平均平衡准确率从0.741提高到0.778,但四个模型时已经达到0.767,第五个模型只增加约0.011,收益开始明显饱和。而且,单模型位置代表五种单模型组合的平均表现,并不是针对每个任务选择出的最佳单模型。因此,这条曲线证明了“平均而言增加模型有帮助”,还不能直接证明“五模型方案优于经过合理选择的单模型或双模型方案”。预训练数据也呈现类似趋势。数据量从5,000张增加到53,699张时,平均平衡准确率由0.748上升至0.778,主要收益在较早阶段已经出现。这说明ELF的价值可能更多来自跨模型监督设计,而不只是预训练数据规模。 2. 分子标志物:覆盖面很广,但平均增益并不算大在TCGA的84个“肿瘤类型—分子标志物”组合中,ELF平均AUC为0.719,优于TITAN的0.701、Prov-GigaPath的0.678和CHIEF的0.676。部分具体任务的AUC超过0.85,包括甲状腺癌和结直肠癌中的BRAF、肺癌中的KRAS和ROS1,以及脑胶质瘤中的IDH1和FGFR3等。在结直肠癌外部验证中,ELF对BRAF突变的四队列平均AUC为0.806,对微卫星不稳定性的平均AUC为0.886,并在三个外部队列中保持了相对稳定的表现。对于非整倍体评分回归和全基因组加倍预测,ELF同样取得了最好的结果。这些结果证明ELF表征具有较好的任务覆盖能力,但0.719相对于0.701的平均AUC提升仍然有限。少数高性能任务也不能代表全部84个组合,因为不同癌种、不同基因的可预测性差异很大。此外,论文的预训练数据中包含部分TCGA癌种,而后续分子标志物评估也使用了TCGA切片。预训练阶段没有使用分子标签,因此这不属于直接的标签泄漏;但部分评估图像可能已经以无标签或器官标签形式参与过预训练,因而不能完全等同于严格意义上的“从未见过的外部图像”。“125项任务”体现的是任务覆盖面,而不是125次彼此独立的外部验证。 3. 治疗反应:临床问题重要,但关键对照仍然不够在四个化疗和靶向治疗队列中,ELF的平均AUC为0.759,高于Prov-GigaPath的0.698、CHIEF的0.704和TITAN的0.646。在IMPRESS外部队列中,ELF预测新辅助化疗病理完全缓解的AUC为0.668,预测曲妥珠单抗疗效的AUC为0.662;加入CD8信息后,AUC分别提高到0.743和0.759。免疫治疗部分覆盖13个队列、8类肿瘤,ELF平均AUC为0.724,优于三个切片级基础模型的0.612至0.664。在较大的MSKCC非小细胞肺癌外部队列中,ELF单独预测持久缓解的AUC为0.640;与PD-L1和肿瘤突变负荷结合后提高到0.722。锁定阈值后,组合模型的敏感度为0.86,但特异度只有0.44,阳性预测值为0.48,阴性预测值为0.84。这些结果更适合被理解为风险富集或辅助分层信号,还不足以单独指导用药。多数队列为回顾性研究,部分外部队列只有30至60余例,而且不同队列对“治疗反应”的定义并不完全相同。模型是在接受治疗的患者中预测缓解或生存结局,并没有通过治疗组与对照组之间的交互作用证明它是严格意义上的治疗预测性标志物。更关键的是,治疗反应预测正是作者所强调的“小样本、适合预训练切片模型”的场景,但这里缺少与强任务特异性MIL的系统比较。研究并没有全面回答:如果选择一个合适的补patch基础模型,在相同患者数据上专门训练ABMIL或其他MIL方法,性能是否真的不如ELF?论文因此证明了ELF优于若干冻结的切片级表征,却还没有充分证明它优于临床项目中常见的“选择一个强patch基础模型,再针对具体终点优化切片融合”的路线。 五、讨论和总结ELF是一项有方法学价值的工作。它提醒我们,在病理基础模型越来越多以后,研究重点未必只能是继续训练更大的模型,也可以转向如何复用已有模型之间的差异。跨模型、跨区域对比学习,加上器官和肿瘤标签的弱监督,使切片级融合不再完全依赖某个下游任务。这一训练思路比简单特征拼接更值得关注。但ELF尚未证明“五个基础模型同时运行”是临床部署中的合理答案。串行推理约14分钟,代表的总计算量约为单个特征提取器的4至6倍;使用五张显卡可以把等待时间压缩到3.5分钟左右,但一张显卡运行单个模型原本也只需要2至3分钟。作者以常规病理制片需要数小时甚至数天为依据,认为这一延迟处于临床可接受范围,但临床系统真正面对的是日均数十至数百张切片的吞吐量、显卡占用、任务排队、运维复杂度和能耗,而不只是单张切片的等待时间。如果还要缓存五套特征,存储开销也会同步增加。因此,更公平的下一步验证应当是一条性能—成本曲线:在同一任务上,比较最佳单模型、双模型或三模型组合、五模型ELF,以及单模型加任务特异性MIL;同时比较不同标签量下的性能,验证ELF是否真的更节省下游标注。论文既然把“数据效率”作为核心优势,就尤其需要展示在10%、25%、50%和100%训练数据下,ELF与任务特异性MIL的学习曲线,而不是只使用完整数据给出最终AUC。从临床转化角度看,更值得期待的可能也不是无限增加基础模型,而是先利用多模型集成获得更强的教师表征,再把知识蒸馏到一个可独立运行的学生模型;或者训练一个动态路由器,根据任务和切片特点只调用最需要的一至两个基础模型。这样才能把多模型带来的表征收益,转化为可接受的临床计算成本。如果是在科研平台中,一张切片的五套特征可以被多个研究任务反复调用,那么前期计算成本尚可被摊薄;但如果只是为一个确定的临床终点部署单一算法,ELF目前带来的性能增益,是否值得长期运行五个基础模型,仍然需要逐个任务计算这笔账。所以,这项工作的最大价值并不是证明“模型越多越好”,而是把一个重要方向摆到了台面上:病理基础模型之间的差异能否被系统利用,并转化为可迁移的切片级表征。ELF证明了这件事在方法上可行,也显示了跨模型预训练的潜力;但它还没有证明,这就是效率最优、成本合理、可以直接进入临床的最终形态。 本文章转载自微信公众号:AI病理视界
-
一、多模态模型的一个现实矛盾:预测性能提高了,能使用的患者却可能减少目前,许多多模态病理AI研究采用相似的技术路线:使用病理基础模型提取全切片图像特征,再与基因组学、临床指标或影像特征进行融合,最终预测患者的预后、治疗反应或分子状态。从技术角度看,这种设计具有明确的合理性。病理图像反映组织形态及肿瘤微环境,基因组学描述分子改变,临床信息则提供患者的疾病分期、治疗过程等背景。不同模态之间具有互补价值。但这些研究往往基于一个隐含前提:训练和预测时,患者都具有相同的完整模态。这与真实临床环境存在明显差异。以基因组学为例,部分患者可能因为费用、样本质量、检测条件等原因没有接受完整分子检测;部分早期患者也可能不需要进行全面的基因检测。此外,既往患者的临床记录未必完整,不同医院采集的指标也未必一致。如果一个模型需要同时输入病理、基因和临床信息才能使用,那么只要其中一个模态缺失,患者就可能无法获得预测结果。因此,评价多模态AI的临床价值,不能只关注完整数据患者中的预测准确率,还应考虑模型能够覆盖多少真实患者。一个在完整数据集上表现优秀、却只能服务少数患者的模型,未必比一个准确率稍低、但能覆盖绝大多数患者的模型具有更大的临床价值。在这一背景下,缺失模态处理不再只是一个技术细节,而是决定多模态AI能否广泛落地的重要问题。 二、DAIMS的核心设计:让病理图像学习其他模态的信息研究团队提出的DAIMS,全称为Domain-Adaptive Incomplete Multimodal Stratification,即具有域适配能力的缺失多模态风险分层框架。研究使用了三个结直肠癌患者队列,包括351例TCGA患者、420例中国F1CRC患者,以及422例英国SURGEN患者,总计1193例。TCGA作为主要训练队列,具有病理图像、基因组学和临床报告数据;另外两个队列主要用于病理单模态条件下的跨中心验证。整个框架的核心可以概括为三个步骤。1. 首先通过多模态数据学习更丰富的疾病表征对于病理图像,研究分别采用UNI v1、UNI2-h、Virchow2和CONCH v1.5四种病理基础模型提取图像特征,以检验方法能否适用于不同病理编码器。对于基因组学数据,研究将分子信息组织为通路层面的特征;对于临床报告,则先将文字信息进行结构化处理,再使用BioBERT等语言模型编码为向量表征。随后,作者引入基于原型引导的特征聚合与融合模块(PGAF),从不同模态中选择与预后相关的信息,并将其映射到统一的特征空间。这里的原型可以理解为模型学习到的、与不同预后风险相关的代表性特征模式。利用这些原型,模型可以从大量图像区域及其他模态特征中,聚合对患者风险预测更有价值的信息。这些多模态特征最终通过冻结的语言模型编码器进行融合,获得患者的风险预测结果。需要指出的是,这里的语言模型主要承担特征交互与融合任务,并非用于生成文本的对话式大语言模型。2. 核心创新:根据病理图像重建缺失模态的特征这是DAIMS最值得关注的部分。传统多模态融合模型通常将不同模态的特征直接拼接,或者通过交叉注意力机制完成信息交互。如果其中一个模态缺失,相应的输入特征也就不存在,原有融合结构可能无法正常工作。DAIMS采用了不同的思路。在训练阶段,模型能够同时看到病理图像、基因组学和临床报告。作者由此训练一个跨模态特征重建模块,让模型学习如何根据病理图像,生成具有基因组学或临床信息特征的潜在表示。具体而言,该模块利用其他模态中学习到的特征原型作为引导,通过交叉注意力机制,将病理特征转换成对应模态的替代特征。这样,当预测时缺少基因组学或临床报告,模型仍然可以利用病理图像生成替代特征,并送入后续融合网络,完成风险预测。需要强调的是,DAIMS并不是根据H&E图像直接生成患者的真实基因检测结果或临床报告,而是在模型内部重建用于预测的特征向量。这一区别非常重要。病理图像确实可能包含与部分分子改变相关的形态线索,但不意味着能够完整、准确地恢复患者所有分子和临床信息。DAIMS真正希望保留的是这些模态中与预后预测相关的补充信息。在特征重建实验中,模型对基因通路特征的重建效果较好,决定系数R²达到0.854;对于临床报告特征,R²为0.422,说明后者仍存在相当程度的信息损失。这也提示我们,跨模态重建的目标不应被简单理解为“用病理替代所有其他检查”,而是让病理模型尽可能吸收其他模态带来的有效监督信息。3. 最终将病理作为稳定的临床输入通过上述训练,DAIMS形成了一条可以独立使用病理图像的预测路径。在TCGA训练过程中,作者还模拟了不同程度的模态缺失,包括基因组学与临床报告分别缺失30%和30%、20%和40%、40%和20%等情况,评估模型对不完整数据的适应能力。研究发现,在这些不同缺失比例下,模型仍然能够维持较好的预后风险分层能力。更重要的是,在两个外部队列中,DAIMS不再要求患者同时提供基因组学和完整临床报告,而是直接以病理WSI作为模型输入。由此形成了一种具有实际应用价值的技术范式:训练时充分利用多模态信息,预测时则尽可能依赖最常规、最容易获得的模态。对于病理AI而言,H&E切片具有天然优势。与昂贵的分子检测相比,常规组织病理检查覆盖面更广,也是大多数实体肿瘤患者诊断过程中的必要环节。如果能够让多模态训练获得的知识最终服务于病理单模态预测,就可能在保留部分多模态性能收益的同时,显著降低模型的临床使用门槛。 三、研究结果:多模态训练,能否真正改善病理单模态预测?为了验证这一思路,作者不仅比较了DAIMS与已有病理预测模型的性能,也通过消融实验分析了其他模态是否真正为病理预测提供了额外价值。在TCGA的消融实验中,使用CONCH v1.5编码器时,完整多模态训练的DAIMS在仅使用病理进行评估的条件下,C-index达到0.761。如果训练时去掉基因组学和临床报告两类辅助模态,C-index下降到0.719。这一结果说明,多模态数据的价值并不一定局限于预测时直接提供额外输入。即使最终只保留病理图像,训练阶段的基因组学和临床信息,也可以帮助模型学习更有效的病理表征。在两个外部队列中,研究进一步评估了域适配后的预测性能。在中国F1CRC队列中,采用CONCH v1.5作为病理编码器,DAIMS在其中一种缺失模态训练设置下的C-index达到0.810,而未经目标域适配的病理单模态DAIMS分支为0.675。在英国SURGEN队列中,使用UNI2-h编码器时,域适配后的最佳C-index达到0.734,未经适配的病理单模态DAIMS分支为0.623。需要注意的是,域适配后的完整结果还涉及队列内部的预测分数排序融合,因此这些数值差异不能全部简单归因于模型参数微调。这些实验整体支持了两个判断:其一,多模态监督可以提高最终病理单模态模型的预测能力;其二,不同医院之间的数据分布差异依然存在,针对目标医院的适配可能进一步提高模型性能。研究还在不同治疗方式、疾病分期和分子亚型患者中进行了风险分层分析。例如,在接受不同化疗或手术治疗的患者中,以及BRAF、KRAS和MMR等分子亚组内,DAIMS均能够识别出生存结局存在差异的高低风险人群。不过,这些结果证明的是同一治疗或分子亚组内部的预后风险区分能力,并不能直接说明模型能够预测患者从某一种治疗中获益多少,更不能据此选择最优治疗方案。治疗获益预测仍需要进一步考虑治疗选择偏倚和因果效应等问题。在可解释性方面,研究通过预后原型生成病理热图。高风险区域往往与低分化、浸润性较强、结构紊乱的肿瘤区域相关,而相对低风险的区域更多对应良好分化的腺体结构或非肿瘤组织。部分形态学关联在不同医院队列中仍然能够观察到。这为模型学习到的风险表征提供了一定的病理学解释,但目前仍主要属于定性观察,需要进一步通过系统性形态指标量化进行验证。 四、域适配是另一个亮点,但也带来了新的部署问题除了缺失模态,DAIMS还专门处理了不同医院之间的域差异。所谓域差异,可以理解为模型训练医院与实际使用医院之间的数据分布不一致。例如,染色方案、切片扫描仪、图像分辨率、患者群体、疾病分期分布乃至生存终点都可能存在差异。这些因素可能导致一个在训练医院表现良好的模型,迁移到其他医院后出现明显的性能下降。为此,作者采用了基于伪标签的域适配策略。在外部医院,研究首先使用原始模型对当地患者的病理切片进行预测,生成伪风险标签。随后,模型根据预测的一致性筛选相对可靠的病例,逐步更新病理特征适配器和生存预测模块,而病理基础模型、缺失模态重建模块以及语言模型主干保持冻结。研究采用了8轮迭代适配,每轮训练4个epoch,每次选择最多50%的目标域病例参与更新。整个过程中不使用目标医院患者的真实生存时间或删失标签。这一设计的优势很明确:新医院不必等待患者长期随访结束,也不必重新收集完整的多模态数据,就可以利用本院已有的病理切片进行模型适配。但从临床部署角度看,它也留下了几个值得关注的问题。首先,适配不需要预后标签,却仍然需要一批患者研究在F1CRC和SURGEN两个外部队列中分别开展域适配,这两个队列包含420例和422例患者。这种方法适合医院已经积累了一批数字化病理切片,希望在本院部署模型的场景。但如果模型需要推广到大量不同医院,每家医院都需要提前准备一批病例、提取特征并完成模型更新,那么仍然会产生额外的实施成本。更重要的是,论文尚未充分回答:完成稳定适配究竟需要多少例患者?如果新医院只有几十例样本,是否仍然有效?不同的适配样本量会对最终性能产生多大影响?这些问题直接关系到方法的推广范围。其次,队列适配并不等于逐例独立预测按照论文描述,外部队列的WSI用于无标签域适配,随后在对应队列上评估模型的预测表现。这种评价方式可以研究模型利用目标域数据进行适配的能力,但与实际临床中“先完成部署,再对未来新患者独立预测”的场景仍有区别。此外,作者最终的风险分数不仅来自适配后的生存模型,还融合了模型估计的删失概率,并在目标队列内部进行排序后再合并。因此,最终预测分数具有一定的队列依赖性。如果临床使用时只有一位新患者,就不能直接按照论文中的方式计算其在整个目标队列中的排名。这并不意味着研究存在传统意义上的生存标签泄露,因为作者明确说明没有利用目标队列的真实预后标签进行适配。但是,在外部验证中使用目标病例的输入特征参与适配,与模型完全固定后对未来独立患者进行预测,仍然是两种不同的评价场景。此外,删失概率与患者随访过程有关,并不等同于肿瘤本身的生物学风险。不同医院的随访机制可能不同,将其与生存风险进行排序融合,是否会引入新的跨中心偏差,也值得通过独立消融实验进一步确认。对于真正面向临床的预后模型,理想的工作流程应当是:模型在完成训练及必要的医院适配后保持固定,新患者只需输入自己的病理切片,就能够得到可重复、可解释的预测结果,而不依赖同期其他患者的数据。最后,域适配的收益应该与零适配部署进行权衡值得注意的是,DAIMS的消融实验已经表明,经过多模态监督训练的病理单模态分支,即使不进行目标医院适配,也能够取得优于多数传统病理基线的表现。从临床转化的角度看,这一点可能比域适配后的最高C-index更加重要。对于希望推广到多家医院的病理AI模型,是否可以优先利用多中心训练、更加鲁棒的病理基础模型和跨模态知识迁移,提高模型在新医院的直接泛化能力?如果不进行任何医院特异性更新,就能获得具有临床价值的预测性能,那么这种模式在推广、维护和质量控制方面可能具有明显优势。相比之下,域适配可以作为一种可选的性能增强措施,而不是每家医院部署模型之前必须完成的步骤。当然,对于存在显著数据分布差异、零适配性能明显下降的医院,利用少量未标注数据完成轻量化适配,仍然可能是一种合理的折中方案。未来更有说服力的验证方式,是将目标医院的数据分为适配集和独立测试集,先使用前者完成无标签适配,再将模型固定,在后续患者上进行严格的独立验证。同时,还应比较不同适配样本量下的收益,明确模型从几十例到数百例患者时的性能变化。 五、从这项研究出发,病理AI如何更好地处理缺失模态?DAIMS的价值,并不局限于结直肠癌预后预测。它提示我们,多模态研究的目标未必是让每一位患者都提供更多数据,也可以是利用具有完整数据的患者,训练出能够服务更广泛人群的模型。未来的多模态病理AI研究,可以进一步区分训练阶段和实际应用阶段的需求。在训练阶段,可以充分利用具有病理、基因、临床和影像等多种数据的患者,探索跨模态的知识迁移、特征重建或知识蒸馏,让病理模型学习其他模态所包含的有效信息。在应用阶段,则应优先考虑最稳定、最容易获得的输入。对于以H&E切片为基础的模型,可以将病理作为必需模态,而把分子检测、影像以及其他临床变量设计为可选的增强信息。这样,即使患者只有病理切片,模型仍然能够提供基础预测;如果其他模态齐全,则可以进一步利用它们提升预测精度,而不必因为缺少某一项检查就拒绝预测。与此同时,缺失模态模型的研究评价也应该更加贴近真实临床环境。除了在完整数据集上比较C-index或AUC,还应考察不同缺失组合下的性能、模型能够覆盖的真实患者比例,以及跨中心部署后是否需要额外训练。在域迁移问题上,也应明确区分完全无需适配的外部泛化、利用未标注数据的医院级适配,以及需要真实结局标签的模型校准。这三种方案的临床实施成本和适用条件并不相同,不宜简单地用最高预测准确率进行比较。对于生存预测尤其如此。能够在某个队列内部区分高低风险,并不意味着模型已经具备跨医院一致的绝对风险估计能力。后者通常仍需要明确的预测时间点、统一的生存终点以及独立的临床校准验证。 结 语近年来,病理基础模型和多模态融合方法不断发展,模型架构越来越复杂,能够整合的数据类型也越来越丰富。但当研究开始真正走向临床时,一个更加基础的问题正在变得重要:模型究竟需要患者提供多少数据,才能发挥作用?DAIMS提供了一种值得借鉴的思路,即利用多模态监督增强病理表征,再通过跨模态特征重建,使模型能够在缺少其他模态的情况下完成预测。其域适配实验也证明,利用目标医院未标注病理数据进一步优化预测是可行的,不过这种队列级适配方式距离完全独立、逐例运行的临床系统仍有一定距离。多模态融合的最终价值,不应该只是让数据齐全的患者获得更准确的预测,更应该让先进模型能够服务于更多数据并不完整的真实患者。在这一意义上,从追求最强的多模态模型,转向追求真正能够部署的多模态AI系统,或许是未来病理AI研究更值得关注的方向。 本文章转载自微信公众号:AI病理视界
-
一、从尿液细胞看转移风险:细胞学开始参与预后评估发表于Advanced Science的CytoNet研究,首先把预测任务放到了一个具体的临床场景中:对于即将接受根治性膀胱切除术的患者,术前尿液细胞学能否为淋巴结转移评估和术后风险分层补充信息?这与在尿液中检出癌细胞有明显区别。研究关注的是,已经患有膀胱癌的患者,其脱落细胞的形态与细胞群特征,是否反映了更强的侵袭性,以及更差的后续结局。1. 经典MIL路线,结合细胞学预训练与多任务学习CytoNet的整体思路,与组织学预测研究中常见的MIL路线相近:先将细胞学切片划分为图像块,提取各图像块的特征,再通过注意力机制筛选、聚合较有信息的区域,形成切片级表征,最终预测患者的淋巴结转移风险与无病生存(DFS)。在此基础上,作者加入了两个设计。一是先利用超过10万张、来自尿液、宫颈和甲状腺等来源的无标注细胞学图像进行自监督预训练,再通过带标注的细胞学图像微调,让特征编码器更适应细胞学形态;二是在聚合后的表征上设置两个预测分支,联合学习淋巴结转移与DFS。这项设计的逻辑并不复杂:转移与生存结局都可能反映肿瘤侵袭性,联合学习有机会帮助模型捕捉两者共享的形态信息。在论文的比较中,多任务模型的淋巴结转移AUC和DFS C-index均高于对应的单任务模型。对细胞学研究而言,这也提供了一种思路:当样本同时有手术病理结果和随访信息时,可以研究多个相关结局能否相互补充,而不必为每个结局各自训练一套完全独立的模型。 2. 淋巴结转移与预后预测,分别获得了外部验证研究的膀胱癌部分共纳入1134例患者。其中1032例来自中山大学附属医院体系,分为训练集478例、内部验证集205例,以及两个外部验证集276例、73例;另有102例来自体系之外的三家医院,作为独立外部测试队列。首先是淋巴结转移预测。以术后淋巴结病理结果为参照,CytoNet在训练集、内部验证集和两个外部验证集中的AUC分别为0.881、0.858、0.831和0.845。模型锁定后,在新增的102例独立外部患者中,无需重新训练或调整阈值,仍取得0.833的AUC。这部分结果支持,尿液脱落细胞的形态信息有望为术前淋巴结转移风险评估提供补充。模型分析的是原发肿瘤脱落到尿液中的细胞,通过其形态推断患者是否存在淋巴结转移。其次是预后预测。CytoNet在内部验证集和两个外部验证集中的DFS C-index分别为0.693、0.680和0.689,在新增独立外部测试队列中为0.704。依据训练集确定的阈值进行分层后,模型也能在验证队列中区分出DFS存在差异的高、低风险患者。因此,研究展示了两个相关但不同的结果:尿液细胞学既包含与淋巴结转移相关的信息,也包含与术后结局相关的信息。不过,C-index在0.70左右,更适合解读为具有一定风险排序能力,距离精确预测某位患者的结局仍有距离。框架还被扩展至其他细胞学场景。在598例宫颈癌患者中,验证集的LNM预测AUC为0.847,DFS C-index为0.690;在3541例甲状腺癌患者中,验证集的LNM预测AUC为0.819。甲状腺癌队列没有随访数据,因此未开展生存预测验证。这里的“跨癌种”需要准确理解:不同癌种共享自监督预训练的初始表征,但后续微调和预测模型分别训练。它支持的是框架与初始表征的可迁移性,而非一个训练完成的膀胱癌模型直接用于其他癌种。 3. 预后预测距离治疗选择,还有一步研究还探索了不同AI风险分层下,辅助治疗与生存结局的关系。部分分层出现了治疗组与未治疗组的生存差异,但调整后的治疗与风险分组交互检验没有达到统计学显著:DFS和总生存(OS)的交互P值分别为0.439和0.385。因此,这部分结果尚不足以证明模型能够识别谁更应该接受辅助治疗。能分出预后好坏,并不自动意味着能判断治疗获益。同样,膀胱癌入组者接受了根治性切除和淋巴结清扫,图像经过质控并确认存在肿瘤细胞。结果不能直接外推到所有尿液送检者、细胞学阴性标本或保膀胱治疗人群。 这项研究首先证明的是,在特定已确诊患者中,常规细胞学图像有望提供诊断之外的风险信息。 二、从甲状腺穿刺看BRAF:按细胞类别拆开分析,再融合发表于Journal of Translational Medicine的研究,选择了另一个更明确的目标:利用术前瑞氏染色细针穿刺细胞学图像,预测甲状腺乳头状癌的BRAF V600E突变状态。研究共纳入209例经术后组织学确诊、并有PCR突变结果的患者。中心1的156例分为训练集109例和内部测试集47例;中心2提供53例外部验证患者。其预测对象是已确诊甲状腺乳头状癌患者的突变状态,不能直接套用于全部甲状腺结节的诊断场景。 1. 按细胞类别提取病理组学特征,再融合预测这项研究采用了一条较清晰的病理组学路线:细胞核分割与分类—分类型特征提取和统计—单类别建模—预测分数融合。作者先将涂片中的分析对象分成肿瘤细胞、黏连肿瘤细胞团、滤泡细胞、黏连滤泡细胞团和其他细胞五类,分别提取形状、染色强度、纹理及细胞分类概率等特征。随后,在每一类内部计算特征的均值、标准差,并结合细胞比例、密度等信息,形成切片级表征。这些统计量既描述该类细胞的总体形态,也反映细胞之间的异质性。在预测阶段,五类细胞分别建立机器学习模型,再将各模型输出的突变概率作为输入,训练最终的融合模型,得到BRAF V600E预测结果。这里的融合是学习如何组合不同细胞类别的信息,而非简单平均五个分数。方法的核心,是先保留细胞类别,再汇总形态信息。如果将所有细胞直接混合统计,某一类细胞中与突变相关的变化,可能被其他细胞的数量和特征稀释。将黏连细胞团单独处理,也有助于减少细胞重叠对单细胞形态测量的干扰。 2. 高AUC之外,要看清外部测试的构成融合模型在内部测试集的AUC为0.933,在外部测试集1为0.962,在外部测试集2为0.889。但两个外部测试集并不代表两批独立患者。测试集1使用外部53例患者各自的一张代表性切片;测试集2使用同一患者来源中的额外切片。它们分别帮助回答跨中心预测表现,以及同一患者换一张片后结果是否稳定的问题。在48例可配对分析的患者中,以0.50为分类阈值,不同切片间的分类一致率为85.4%,Cohen’s κ为0.654。也就是说,多数患者的预测分类一致,但仍有7例在换片后发生了分类变化。这比单独报告一个外部AUC更贴近细胞学的现实:同一患者的不同涂片,细胞数量、细胞组成和重叠程度都可能不同。模型需要跨医院稳定,也需要在同一患者的不同玻片之间尽可能稳定。还应注意,论文将部分结果明确定位为多种算法的回顾性性能比较,而非前瞻性锁定部署模型的验证。较高的AUC展示了这套方法的潜力,外部患者数量、模型选择过程和后续独立验证仍需要一起考虑。 3. 滤泡细胞贡献较大,但生物学解释仍需验证模型解释分析显示,滤泡细胞通道对融合预测的总体贡献最大。进一步分析涉及细胞类别概率、纹理复杂程度、轮廓不规则性,以及细胞之间的形态异质性。这一结果值得继续研究,但不能直接推导为“正常滤泡细胞感知到了肿瘤突变”。这里的细胞类别来自自动分割与分类,尚有分类误差和中心间差异;图像类别也不等同于通过分子实验确认的细胞身份。更稳妥的判断是,BRAF相关预测信号可能分布在多个细胞类别中,分类量化有助于保留这些信息。模型解释为后续细胞标注和分子验证提供了线索。这也是病理组学路线的一项价值:预测结果能够沿着细胞类别、具体特征,进一步回到图像上的形态表现,为研究者继续验证提供较清晰的入口。 三、从骨髓涂片看IDH1:有信息的视野,需要被挑出来发表于npj Precision Oncology的研究,将目标放在急性髓系白血病(AML)的IDH1突变上。由于这一突变具有治疗相关意义,作者希望探索常规骨髓涂片中,是否存在可用于提示突变状态的形态信号。研究纳入德国和美国四个中心的436例患者,共525张骨髓涂片全切片图像,突变标签来自测序。 1. 弱监督训练视觉编码器,再用注意力MIL聚合这项研究采用了较典型的两阶段弱监督路线:先训练图像块特征编码器,再通过注意力MIL形成切片级预测。作者首先进行有效区域识别和图像质量筛选,为每位患者保留40个高质量图像块。随后,将患者的IDH1突变状态作为其图像块的训练标签,训练视觉Transformer,使其学习与突变状态相关的形态特征。由于标签来自患者层面,并未逐一确认每个图像块是否包含突变相关形态,因此属于弱监督学习。第二阶段,作者固定已经训练好的编码器,提取各图像块的特征,再训练注意力MIL模型。模型学习为不同图像块分配权重,将其聚合为切片级预测;同一患者有多张切片时,再对切片预测概率取平均,形成患者级结果。两个阶段沿用相同的患者级数据划分。这条路线的关键,是同时学习“提取什么特征”和“重点看哪些视野”。前一阶段让编码器适应IDH1预测任务,后一阶段则减少低信息视野对结果的干扰。与直接平均图像块预测相比,注意力MIL取得了更好的表现,也提示突变相关的形态线索可能并非均匀分布于整张涂片。 2. 注意力聚合改善预测,但尚未找到特异的突变形态在患者级三折内部交叉验证中,最终模型的平均AUC为0.8057,准确率约为74.1%,宏平均F1约为0.725。相比之下,直接对所选图像块的预测概率取平均时,宏平均F1约为0.677。这说明,在已经学习任务相关特征的基础上,进一步区分不同视野的重要性,有助于改善预测。结果也提示,与IDH1突变相关的形态线索可能并非均匀分布,简单平均可能稀释部分有效信息。作者进一步回看了模型赋予较高注意力的图像块。在正确预测为突变的标本中,经常观察到成熟粒细胞生成减少、细胞表型偏幼稚的情况。不过,现有可视化分析尚未找到一种特异、明确的单细胞形态,能够直接对应IDH1突变。因此,模型利用的可能是细胞群组成、成熟状态与其他细微形态变化的组合。这里观察到的是与模型预测相关的形态线索,其特异性及生物学解释仍需进一步验证。 3. 多中心数据提供了探索基础,独立外部验证仍然缺少这项研究需要保留的一个限定是:虽然436例患者来自四个中心,但主要性能来自患者级三折内部交叉验证,没有单独留出一个未参与模型开发的外部中心进行测试。多中心数据增加了样本的多样性,但模型能否推广到新的医院、扫描设备和染色条件,仍需要独立验证。每位患者的多张切片最终汇总为一个患者级结果,也意味着研究规模应按436例患者理解,而不能将525张切片视为彼此独立的病例。此外,研究有意富集了IDH1突变病例,436例中有186例突变患者,比例约43%,明显高于文中所述一般AML人群约8%的水平。实际应用时,即使灵敏度和特异度保持不变,较低的突变率也会降低阳性预测值。因此,研究中的精确率不能直接搬到常规AML送检人群。这项工作首先提供了概念验证:骨髓涂片中存在可被模型利用的IDH1相关形态信息。其潜在用途可以是提示分子检测需求或帮助安排检测优先级;能否在真实流程中发挥作用,还需要在符合实际突变率的独立队列中继续评估。目前尚不能据此替代基因检测或直接指导靶向治疗。 四、细胞学AI的下一步:把现有样本用得更充分三项研究的共同意义,是把细胞学图像放到了与组织学AI相近的研究框架中:从常规形态中提取可量化的表征,再与分子标签、手术病理和随访结局建立联系。对于希望开展相关研究的团队,这些工作既提示了细胞学图像的潜在价值,也展示了几条可以逐步推进的研究路径。1. 缺少完整组织结构,不意味着缺少预测信息组织切片的优势,在于保留了肿瘤与间质、免疫细胞及周围组织之间的结构关系。细胞学标本通常难以提供同等完整的组织背景,但仍保留了丰富的细胞核形态、染色质、细胞群组成、成熟状态,以及部分细胞团特征。这些信息有机会支持诊断之外的预测。三项研究也提示,模型未必只是在寻找某一种“特征性细胞”,还可能综合利用一群细胞的形态分布与组成变化。骨髓研究中观察到的成熟粒细胞生成减少、细胞表型偏幼稚,就是这类线索。与此同时,涂片上的空间排列受到制片影响,不能简单等同于组织内真实的空间关系。细胞重叠、染色差异和扫描失焦,也可能改变模型获得的特征。因此,细胞学预测研究需要考虑如何保留有价值的形态与细胞群信息,同时减少制片和成像差异的干扰。2. 从适合细胞学的特征模型开始细胞学与组织学在图像特点上存在差异,一个在H&E组织切片上表现出色的编码器,迁移到细胞学后是否仍然合适,需要实际比较。一种可行的方向,是利用积累的未标注细胞学图像,通过DINO、iBOT等自监督方法进行预训练,或者在已有模型上继续预训练,让编码器进一步适应目标标本的形态与成像特点。本文介绍的CytoNet,就采用了先进行细胞学自监督预训练、再开展下游预测的思路。这条路线的价值在于,不必先为每个细胞标注突变状态或预后标签,也可以利用大量常规玻片学习形态表征。不过,小规模、单一来源数据上的继续预训练,更适合定位为领域适配;要形成具有广泛迁移能力的基础模型,仍需要足够多样的标本、中心和制片条件。开展研究也不必都从训练编码器开始。目前已经有专门面向细胞学的基础模型可供使用。例如,CytoFM采用iBOT进行细胞学自监督预训练,并提供预训练权重与加载示例;发表于《Nature Cancer》的CROWN则基于超过1000万个细胞学图像块,采用DINOv2框架学习表征,并提供可申请获取的预训练权重。对于已有临床队列的团队,可以先比较细胞学基础模型、组织学基础模型和通用视觉模型的特征表现,再判断是否需要本地继续预训练。基础模型提供的是特征提取起点,具体的突变或预后任务,仍需要重新建模和独立验证。3. 下游沿用MIL,同时围绕标本特点组织信息得到适合细胞学的特征之后,下游可以采用组织学研究中已经较成熟的MIL弱监督路线:将一张涂片中的多个图像块作为一个“袋”,提取特征后,通过注意力等机制聚合为切片级表征,再进一步形成患者级预测。这条路线通常不要求逐个细胞标注其与结局的关系,而是利用患者层面的测序结果、手术病理或随访信息进行训练。对于有玻片存档和临床数据、但缺少精细标注的回顾性队列,它具有较强的可操作性。不过,细胞学中异常细胞可能稀少,不同区域的质量和细胞组成也可能差异很大。质控、有效区域筛选,以及有信息视野的聚合,往往与编码器本身同样重要。骨髓研究中,注意力MIL优于直接平均预测的结果,就提示了这一点。进一步的方法选择,则可以围绕具体问题展开。CytoNet利用转移与生存等相关结局共同学习;甲状腺研究按细胞类别分别量化后再融合;骨髓研究通过注意力聚合,提高有信息视野的权重。这些方法没有证明哪一种路线普遍更好,却提示细胞学AI并不只有“检测细胞—分类细胞”这一种路径。研究者可以从单细胞、细胞群、局部视野和整张切片等不同层级组织信息,也可以将深度特征与传统细胞形态特征融合。一条务实的路径,是先用现有编码器建立MIL预测基线,再探索领域适配、细胞类别分层或多任务学习,检验每一步是否带来了稳定的增益。4. 从可预测,继续走向有临床增量价值模型取得较好的AUC,只是研究的一部分。换中心、换扫描仪后是否稳定;同一患者换一张涂片,结论是否一致;在真实患病率和连续入组人群中,能否保持表现;加入现有临床指标后,又能提供多少额外信息,这些问题同样重要。本文三项研究也分别提醒了不同的验证重点:尿液研究需要关注特定手术人群之外的适用性;甲状腺研究提示同一患者不同玻片之间仍可能出现预测变化;骨髓研究则提醒,多中心数据来源不等于独立外部验证,富集突变病例后的结果也不能直接搬到常规送检人群。分子预测还需要明确自身在检测流程中的位置。图像评分可以探索用于提示风险、安排检测优先级,但是否能缩短等待、减少漏检,或改善后续决策,需要专门的临床研究。预后模型同样如此。证明患者之间存在风险差异,是重要的起点;证明这些差异能够支持治疗或随访决策,则需要更进一步的证据。尤其是治疗选择,不能仅凭某个风险组内出现生存差异,就认定模型已经能够预测治疗获益。尿液细胞、穿刺涂片和骨髓涂片,正在逐步成为预测性病理AI可以利用的图像来源。随着细胞学基础模型和弱监督方法逐渐完善,开展相关研究的门槛正在降低。接下来更值得关注的,是这些常规玻片中尚未被充分利用的形态信息,能为具体临床问题多提供多少可靠的判断依据。 本文章转载自微信公众号:AI病理视界
-
一、从尿液细胞看转移风险:细胞学开始参与预后评估发表于Advanced Science的CytoNet研究,首先把预测任务放到了一个具体的临床场景中:对于即将接受根治性膀胱切除术的患者,术前尿液细胞学能否为淋巴结转移评估和术后风险分层补充信息?这与在尿液中检出癌细胞有明显区别。研究关注的是,已经患有膀胱癌的患者,其脱落细胞的形态与细胞群特征,是否反映了更强的侵袭性,以及更差的后续结局。1. 经典MIL路线,结合细胞学预训练与多任务学习CytoNet的整体思路,与组织学预测研究中常见的MIL路线相近:先将细胞学切片划分为图像块,提取各图像块的特征,再通过注意力机制筛选、聚合较有信息的区域,形成切片级表征,最终预测患者的淋巴结转移风险与无病生存(DFS)。在此基础上,作者加入了两个设计。一是先利用超过10万张、来自尿液、宫颈和甲状腺等来源的无标注细胞学图像进行自监督预训练,再通过带标注的细胞学图像微调,让特征编码器更适应细胞学形态;二是在聚合后的表征上设置两个预测分支,联合学习淋巴结转移与DFS。这项设计的逻辑并不复杂:转移与生存结局都可能反映肿瘤侵袭性,联合学习有机会帮助模型捕捉两者共享的形态信息。在论文的比较中,多任务模型的淋巴结转移AUC和DFS C-index均高于对应的单任务模型。对细胞学研究而言,这也提供了一种思路:当样本同时有手术病理结果和随访信息时,可以研究多个相关结局能否相互补充,而不必为每个结局各自训练一套完全独立的模型。 2. 淋巴结转移与预后预测,分别获得了外部验证研究的膀胱癌部分共纳入1134例患者。其中1032例来自中山大学附属医院体系,分为训练集478例、内部验证集205例,以及两个外部验证集276例、73例;另有102例来自体系之外的三家医院,作为独立外部测试队列。首先是淋巴结转移预测。以术后淋巴结病理结果为参照,CytoNet在训练集、内部验证集和两个外部验证集中的AUC分别为0.881、0.858、0.831和0.845。模型锁定后,在新增的102例独立外部患者中,无需重新训练或调整阈值,仍取得0.833的AUC。这部分结果支持,尿液脱落细胞的形态信息有望为术前淋巴结转移风险评估提供补充。模型分析的是原发肿瘤脱落到尿液中的细胞,通过其形态推断患者是否存在淋巴结转移。其次是预后预测。CytoNet在内部验证集和两个外部验证集中的DFS C-index分别为0.693、0.680和0.689,在新增独立外部测试队列中为0.704。依据训练集确定的阈值进行分层后,模型也能在验证队列中区分出DFS存在差异的高、低风险患者。因此,研究展示了两个相关但不同的结果:尿液细胞学既包含与淋巴结转移相关的信息,也包含与术后结局相关的信息。不过,C-index在0.70左右,更适合解读为具有一定风险排序能力,距离精确预测某位患者的结局仍有距离。框架还被扩展至其他细胞学场景。在598例宫颈癌患者中,验证集的LNM预测AUC为0.847,DFS C-index为0.690;在3541例甲状腺癌患者中,验证集的LNM预测AUC为0.819。甲状腺癌队列没有随访数据,因此未开展生存预测验证。这里的“跨癌种”需要准确理解:不同癌种共享自监督预训练的初始表征,但后续微调和预测模型分别训练。它支持的是框架与初始表征的可迁移性,而非一个训练完成的膀胱癌模型直接用于其他癌种。 3. 预后预测距离治疗选择,还有一步研究还探索了不同AI风险分层下,辅助治疗与生存结局的关系。部分分层出现了治疗组与未治疗组的生存差异,但调整后的治疗与风险分组交互检验没有达到统计学显著:DFS和总生存(OS)的交互P值分别为0.439和0.385。因此,这部分结果尚不足以证明模型能够识别谁更应该接受辅助治疗。能分出预后好坏,并不自动意味着能判断治疗获益。同样,膀胱癌入组者接受了根治性切除和淋巴结清扫,图像经过质控并确认存在肿瘤细胞。结果不能直接外推到所有尿液送检者、细胞学阴性标本或保膀胱治疗人群。 这项研究首先证明的是,在特定已确诊患者中,常规细胞学图像有望提供诊断之外的风险信息。 二、从甲状腺穿刺看BRAF:按细胞类别拆开分析,再融合发表于Journal of Translational Medicine的研究,选择了另一个更明确的目标:利用术前瑞氏染色细针穿刺细胞学图像,预测甲状腺乳头状癌的BRAF V600E突变状态。研究共纳入209例经术后组织学确诊、并有PCR突变结果的患者。中心1的156例分为训练集109例和内部测试集47例;中心2提供53例外部验证患者。其预测对象是已确诊甲状腺乳头状癌患者的突变状态,不能直接套用于全部甲状腺结节的诊断场景。 1. 按细胞类别提取病理组学特征,再融合预测这项研究采用了一条较清晰的病理组学路线:细胞核分割与分类—分类型特征提取和统计—单类别建模—预测分数融合。作者先将涂片中的分析对象分成肿瘤细胞、黏连肿瘤细胞团、滤泡细胞、黏连滤泡细胞团和其他细胞五类,分别提取形状、染色强度、纹理及细胞分类概率等特征。随后,在每一类内部计算特征的均值、标准差,并结合细胞比例、密度等信息,形成切片级表征。这些统计量既描述该类细胞的总体形态,也反映细胞之间的异质性。在预测阶段,五类细胞分别建立机器学习模型,再将各模型输出的突变概率作为输入,训练最终的融合模型,得到BRAF V600E预测结果。这里的融合是学习如何组合不同细胞类别的信息,而非简单平均五个分数。方法的核心,是先保留细胞类别,再汇总形态信息。如果将所有细胞直接混合统计,某一类细胞中与突变相关的变化,可能被其他细胞的数量和特征稀释。将黏连细胞团单独处理,也有助于减少细胞重叠对单细胞形态测量的干扰。 2. 高AUC之外,要看清外部测试的构成融合模型在内部测试集的AUC为0.933,在外部测试集1为0.962,在外部测试集2为0.889。但两个外部测试集并不代表两批独立患者。测试集1使用外部53例患者各自的一张代表性切片;测试集2使用同一患者来源中的额外切片。它们分别帮助回答跨中心预测表现,以及同一患者换一张片后结果是否稳定的问题。在48例可配对分析的患者中,以0.50为分类阈值,不同切片间的分类一致率为85.4%,Cohen’s κ为0.654。也就是说,多数患者的预测分类一致,但仍有7例在换片后发生了分类变化。这比单独报告一个外部AUC更贴近细胞学的现实:同一患者的不同涂片,细胞数量、细胞组成和重叠程度都可能不同。模型需要跨医院稳定,也需要在同一患者的不同玻片之间尽可能稳定。还应注意,论文将部分结果明确定位为多种算法的回顾性性能比较,而非前瞻性锁定部署模型的验证。较高的AUC展示了这套方法的潜力,外部患者数量、模型选择过程和后续独立验证仍需要一起考虑。 3. 滤泡细胞贡献较大,但生物学解释仍需验证模型解释分析显示,滤泡细胞通道对融合预测的总体贡献最大。进一步分析涉及细胞类别概率、纹理复杂程度、轮廓不规则性,以及细胞之间的形态异质性。这一结果值得继续研究,但不能直接推导为“正常滤泡细胞感知到了肿瘤突变”。这里的细胞类别来自自动分割与分类,尚有分类误差和中心间差异;图像类别也不等同于通过分子实验确认的细胞身份。更稳妥的判断是,BRAF相关预测信号可能分布在多个细胞类别中,分类量化有助于保留这些信息。模型解释为后续细胞标注和分子验证提供了线索。这也是病理组学路线的一项价值:预测结果能够沿着细胞类别、具体特征,进一步回到图像上的形态表现,为研究者继续验证提供较清晰的入口。 三、从骨髓涂片看IDH1:有信息的视野,需要被挑出来发表于npj Precision Oncology的研究,将目标放在急性髓系白血病(AML)的IDH1突变上。由于这一突变具有治疗相关意义,作者希望探索常规骨髓涂片中,是否存在可用于提示突变状态的形态信号。研究纳入德国和美国四个中心的436例患者,共525张骨髓涂片全切片图像,突变标签来自测序。 1. 弱监督训练视觉编码器,再用注意力MIL聚合这项研究采用了较典型的两阶段弱监督路线:先训练图像块特征编码器,再通过注意力MIL形成切片级预测。作者首先进行有效区域识别和图像质量筛选,为每位患者保留40个高质量图像块。随后,将患者的IDH1突变状态作为其图像块的训练标签,训练视觉Transformer,使其学习与突变状态相关的形态特征。由于标签来自患者层面,并未逐一确认每个图像块是否包含突变相关形态,因此属于弱监督学习。第二阶段,作者固定已经训练好的编码器,提取各图像块的特征,再训练注意力MIL模型。模型学习为不同图像块分配权重,将其聚合为切片级预测;同一患者有多张切片时,再对切片预测概率取平均,形成患者级结果。两个阶段沿用相同的患者级数据划分。这条路线的关键,是同时学习“提取什么特征”和“重点看哪些视野”。前一阶段让编码器适应IDH1预测任务,后一阶段则减少低信息视野对结果的干扰。与直接平均图像块预测相比,注意力MIL取得了更好的表现,也提示突变相关的形态线索可能并非均匀分布于整张涂片。 2. 注意力聚合改善预测,但尚未找到特异的突变形态在患者级三折内部交叉验证中,最终模型的平均AUC为0.8057,准确率约为74.1%,宏平均F1约为0.725。相比之下,直接对所选图像块的预测概率取平均时,宏平均F1约为0.677。这说明,在已经学习任务相关特征的基础上,进一步区分不同视野的重要性,有助于改善预测。结果也提示,与IDH1突变相关的形态线索可能并非均匀分布,简单平均可能稀释部分有效信息。作者进一步回看了模型赋予较高注意力的图像块。在正确预测为突变的标本中,经常观察到成熟粒细胞生成减少、细胞表型偏幼稚的情况。不过,现有可视化分析尚未找到一种特异、明确的单细胞形态,能够直接对应IDH1突变。因此,模型利用的可能是细胞群组成、成熟状态与其他细微形态变化的组合。这里观察到的是与模型预测相关的形态线索,其特异性及生物学解释仍需进一步验证。 3. 多中心数据提供了探索基础,独立外部验证仍然缺少这项研究需要保留的一个限定是:虽然436例患者来自四个中心,但主要性能来自患者级三折内部交叉验证,没有单独留出一个未参与模型开发的外部中心进行测试。多中心数据增加了样本的多样性,但模型能否推广到新的医院、扫描设备和染色条件,仍需要独立验证。每位患者的多张切片最终汇总为一个患者级结果,也意味着研究规模应按436例患者理解,而不能将525张切片视为彼此独立的病例。此外,研究有意富集了IDH1突变病例,436例中有186例突变患者,比例约43%,明显高于文中所述一般AML人群约8%的水平。实际应用时,即使灵敏度和特异度保持不变,较低的突变率也会降低阳性预测值。因此,研究中的精确率不能直接搬到常规AML送检人群。这项工作首先提供了概念验证:骨髓涂片中存在可被模型利用的IDH1相关形态信息。其潜在用途可以是提示分子检测需求或帮助安排检测优先级;能否在真实流程中发挥作用,还需要在符合实际突变率的独立队列中继续评估。目前尚不能据此替代基因检测或直接指导靶向治疗。 四、细胞学AI的下一步:把现有样本用得更充分三项研究的共同意义,是把细胞学图像放到了与组织学AI相近的研究框架中:从常规形态中提取可量化的表征,再与分子标签、手术病理和随访结局建立联系。对于希望开展相关研究的团队,这些工作既提示了细胞学图像的潜在价值,也展示了几条可以逐步推进的研究路径。1. 缺少完整组织结构,不意味着缺少预测信息组织切片的优势,在于保留了肿瘤与间质、免疫细胞及周围组织之间的结构关系。细胞学标本通常难以提供同等完整的组织背景,但仍保留了丰富的细胞核形态、染色质、细胞群组成、成熟状态,以及部分细胞团特征。这些信息有机会支持诊断之外的预测。三项研究也提示,模型未必只是在寻找某一种“特征性细胞”,还可能综合利用一群细胞的形态分布与组成变化。骨髓研究中观察到的成熟粒细胞生成减少、细胞表型偏幼稚,就是这类线索。与此同时,涂片上的空间排列受到制片影响,不能简单等同于组织内真实的空间关系。细胞重叠、染色差异和扫描失焦,也可能改变模型获得的特征。因此,细胞学预测研究需要考虑如何保留有价值的形态与细胞群信息,同时减少制片和成像差异的干扰。2. 从适合细胞学的特征模型开始细胞学与组织学在图像特点上存在差异,一个在H&E组织切片上表现出色的编码器,迁移到细胞学后是否仍然合适,需要实际比较。一种可行的方向,是利用积累的未标注细胞学图像,通过DINO、iBOT等自监督方法进行预训练,或者在已有模型上继续预训练,让编码器进一步适应目标标本的形态与成像特点。本文介绍的CytoNet,就采用了先进行细胞学自监督预训练、再开展下游预测的思路。这条路线的价值在于,不必先为每个细胞标注突变状态或预后标签,也可以利用大量常规玻片学习形态表征。不过,小规模、单一来源数据上的继续预训练,更适合定位为领域适配;要形成具有广泛迁移能力的基础模型,仍需要足够多样的标本、中心和制片条件。开展研究也不必都从训练编码器开始。目前已经有专门面向细胞学的基础模型可供使用。例如,CytoFM采用iBOT进行细胞学自监督预训练,并提供预训练权重与加载示例;发表于《Nature Cancer》的CROWN则基于超过1000万个细胞学图像块,采用DINOv2框架学习表征,并提供可申请获取的预训练权重。对于已有临床队列的团队,可以先比较细胞学基础模型、组织学基础模型和通用视觉模型的特征表现,再判断是否需要本地继续预训练。基础模型提供的是特征提取起点,具体的突变或预后任务,仍需要重新建模和独立验证。3. 下游沿用MIL,同时围绕标本特点组织信息得到适合细胞学的特征之后,下游可以采用组织学研究中已经较成熟的MIL弱监督路线:将一张涂片中的多个图像块作为一个“袋”,提取特征后,通过注意力等机制聚合为切片级表征,再进一步形成患者级预测。这条路线通常不要求逐个细胞标注其与结局的关系,而是利用患者层面的测序结果、手术病理或随访信息进行训练。对于有玻片存档和临床数据、但缺少精细标注的回顾性队列,它具有较强的可操作性。不过,细胞学中异常细胞可能稀少,不同区域的质量和细胞组成也可能差异很大。质控、有效区域筛选,以及有信息视野的聚合,往往与编码器本身同样重要。骨髓研究中,注意力MIL优于直接平均预测的结果,就提示了这一点。进一步的方法选择,则可以围绕具体问题展开。CytoNet利用转移与生存等相关结局共同学习;甲状腺研究按细胞类别分别量化后再融合;骨髓研究通过注意力聚合,提高有信息视野的权重。这些方法没有证明哪一种路线普遍更好,却提示细胞学AI并不只有“检测细胞—分类细胞”这一种路径。研究者可以从单细胞、细胞群、局部视野和整张切片等不同层级组织信息,也可以将深度特征与传统细胞形态特征融合。一条务实的路径,是先用现有编码器建立MIL预测基线,再探索领域适配、细胞类别分层或多任务学习,检验每一步是否带来了稳定的增益。4. 从可预测,继续走向有临床增量价值模型取得较好的AUC,只是研究的一部分。换中心、换扫描仪后是否稳定;同一患者换一张涂片,结论是否一致;在真实患病率和连续入组人群中,能否保持表现;加入现有临床指标后,又能提供多少额外信息,这些问题同样重要。本文三项研究也分别提醒了不同的验证重点:尿液研究需要关注特定手术人群之外的适用性;甲状腺研究提示同一患者不同玻片之间仍可能出现预测变化;骨髓研究则提醒,多中心数据来源不等于独立外部验证,富集突变病例后的结果也不能直接搬到常规送检人群。分子预测还需要明确自身在检测流程中的位置。图像评分可以探索用于提示风险、安排检测优先级,但是否能缩短等待、减少漏检,或改善后续决策,需要专门的临床研究。预后模型同样如此。证明患者之间存在风险差异,是重要的起点;证明这些差异能够支持治疗或随访决策,则需要更进一步的证据。尤其是治疗选择,不能仅凭某个风险组内出现生存差异,就认定模型已经能够预测治疗获益。尿液细胞、穿刺涂片和骨髓涂片,正在逐步成为预测性病理AI可以利用的图像来源。随着细胞学基础模型和弱监督方法逐渐完善,开展相关研究的门槛正在降低。接下来更值得关注的,是这些常规玻片中尚未被充分利用的形态信息,能为具体临床问题多提供多少可靠的判断依据。 本文章转载自微信公众号:AI病理视界
-
数字病理领域近日迎来了重要进展,徕卡生物系统公司(Leica Biosystems)宣布不再执行其数字病理DICOM格式专利,以加速该格式在数字病理领域的应用和标准化。这一举措将允许其他公司在无专利约束下优化、应用DICOM格式,有望推动该标准在整个行业的广泛普及。长期以来,数字病理切片扫描仪厂商各自采用不同的切片格式,形成了独立的专有标准。相比之下,放射影像领域的所有厂商均采用统一的DICOM格式。数字病理行业长期缺乏这种统一的、被广泛认可和共享的标准图像格式。这一现状带来了诸多问题,尤其是在数字病理图像阅片和分析过程中,不同格式的兼容性问题对软件和算法的开发带来了极大的挑战。此外,许多厂商的格式是闭源的,公开资料有限。尽管各厂商提供了专用软件用于阅片,但对于AI病理算法的开发和应用而言,这种封闭格式无疑是巨大的障碍。若无法以编程语言高效地读取数字切片,后续的AI分析几乎无法进行。尽管早在2005年,DICOM组织便成立了针对数字病理图像的26号工作组(WG-26:Pathology),但进展缓慢。相信随着徕卡放弃其对数字病理图像DICOM格式专利的控制,DICOM格式有望成为数字病理切片的标准,从而统一数字病理领域的图像格式。尽管希望的曙光即将到来,但格式统一的进程不会太快。短期内,业界仍需面对不同图像格式带来的诸多困扰。在AI病理的探索过程中,读取各种数字病理图像是一项必须攻克的难题。数字病理图像处理基本工具1、OpenSlide cid:link_0OpenSlide是一款为数字病理图像处理开发的开源工具库,用于读取和操作大规模数字切片图像。在数字病理领域,病理切片图像的获取与分析是诊断与研究的关键步骤,而这些图像通常具有高分辨率和大尺寸,因此对处理工具的要求极高。OpenSlide项目始于2010年,由美国匹兹堡大学和卡耐基梅隆大学的研究人员开发。值得一提的是,匹兹堡是美国病理信息学的重要中心,美国病理信息学会(API,Association of Pathology Informatics)便源于此。因此,OpenSlide这样的项目由当地研究机构牵头完成也就不足为奇。OpenSlide工具库在数字病理领域的重要性体现在以下几个方面:兼容性与多样性:支持多种数字切片格式,促进数据的统一处理。开放性:开源特性鼓励社区参与和知识共享,从而实现快速的迭代与更新。应用广泛:作为基础工具,OpenSlide被广泛应用于图像处理、分析及AI模型开发。从2010年到2015年,OpenSlide持续进行迭代更新,直至2015年4月发布3.4.1版本后停止更新。虽然原本以为这一优秀的开源项目就此完结,但令人欣喜的是,开发者在去年底重新启动了OpenSlide库,2023年10月发布的4.0.0版本标志着时隔8年后的再次更新,并且至今保持定期更新的频率。然而,这多年的更新暂停使OpenSlide缺乏对一些新型扫描仪格式的支持,尤其是国内品牌的扫描仪格式。相信开发社区的重新活跃能够迅速弥补这一不足。OpenSlide采用C语言开发,并且提供了Java、Python和Matlab的接口,使得在这些编程语言中能够无缝使用OpenSlide。唯一的问题是,在深度学习常用的Python环境中使用OpenSlide时,如果遇到一些底层错误,这些错误在Python中难以调试,只能在C语言中进行,这可能会对用户造成一定困扰。2、Tifffile https://github.com/cgohlke/tifffileTifffile是一个非常出色的开源库,支持读取和写入常用的基于多级分辨率格式的生物显微镜图像。不同于OpenSlide仅支持图像读取,Tifffile还具备写图功能,能够将读取的图片保存为多级分辨率的TIFF格式。Tifffile采用纯Python编写,因此在Python环境中进行调试时比OpenSlide更加便捷,但这也导致其读取速度无法与C语言开发的OpenSlide相媲美。在我们的工作中,主要使用Tifffile的写图功能,将Tifffile与OpenSlide或其他特定格式的图像读取库结合使用,从而实现将读取的图像格式转换为OME-TIFF或SVS格式,以便于病理切片图像格式的转换。 3、Tiffslide https://github.com/Bayer-Group/tiffslideTiffslide是由拜耳集团(Bayer Group)发起的一项开源项目,基于Tifffile库开发了一个完全仿照OpenSlide功能的Python替代工具。我们团队的成员也在该项目中贡献了代码。如果你习惯使用OpenSlide,但需要一个不依赖其他编译环境的纯Python工具,那么Tiffslide将是你的理想选择。当然,Tiffslide也继承了Tifffile在速度方面的不足,也是因为其使用了纯Python语言。目前Tiffslide仅支持OpenSlide所支持的部分格式,后续功能仍有待进一步完善。基于上述基本工具,我们接下来逐一盘点各种病理图像格式及其读取方案。 国际厂商Aperio SVS格式Aperio是数字病理领域的先驱之一,也是最早生产数字病理切片扫描仪的公司。2012年,Aperio被徕卡收购,并入徕卡生物系统公司。Aperio的SVS格式是当前最为通用的数字病理图像格式之一,几乎所有与生物显微图像处理相关的库都支持SVS格式。通常我们使用前述的OpenSlide库来读取SVS格式,但如果需在纯Python环境中操作,Tiffslide是一个不错的选择。 Leica SCN格式徕卡自产的扫描仪生成的SCN格式得到了OpenSlide库的良好支持。值得需注意的是,Leica Versa型号扫描仪生成的SCN图像,使用官方发布的OpenSlide进行读取时会出现错误。解决方案是从 cid:link_0/pull/348 下载修正版本,并自行编译OpenSlide。目前该修正只支持OpenSlide 3.x版本,最新的4.x版本尚未适配。此外,部分徕卡扫描仪能够扫描多通道的荧光全片数字病理图像,同样保存为SCN格式,但目前OpenSlide尚不支持这一多通道荧光图像的SCN格式。 滨松 NDPI格式滨松扫描仪早期使用VMS格式,现在已基本被NDPI格式所替代。NDPI格式能够与OpenSlide良好兼容。 3DHistech MRXS格式3DHistech的数字病理切片采用MRXS格式,该格式并非单文件结构,而是由一个MRXS文件及一个同名文件夹组成,后者包含多个不同图像层级信息的数据文件。MRXS格式同样能够被OpenSlide顺利读取。 飞利浦 iSyntax格式飞利浦的扫描仪在国内市场较为少见,并且传闻即将退出中国市场。然而,在欧洲有不少机构仍在使用其扫描仪,因此在某些国际合作中有可能需要处理iSyntax格式。目前,OpenSlide无法支持飞利浦的iSyntax格式。我们采用的方案是使用openphi库和tifffile库将iSyntax格式转换为SVS格式,再通过OpenSlide进行读取。Openphi库可以从 https://gitlab.com/BioimageInformaticsGroup/openphi 下载。该库封装的方法与OpenSlide类似,用户友好,但核心动态库Philips SDK v2.0-L1的优化程度不如OpenSlide,导致读取速度较慢。如果对速度要求不高,可以选择直接使用openphi;而对速度有需求的用户则可参考我们的转换方案,将其保存为SVS格式后,再使用OpenSlide读取。此外,Philips SDK v2.0-L1目前仅支持Python 3.8,并且似乎不再更新,因此更高版本的Python无法使用,需单独为其配置合适的Python环境。 奥林巴斯 VSI格式在一个项目中,我们曾尝试过读取奥林巴斯VSI格式图片,包括OpenSlide在内的多种库均无法正确读取。主要问题在于,当VSI格式保存多个独立扫描区域时,采用了较为独特的编码方式,这使得OpenSlide无法在全切片范围内正确还原每个扫描区域的具体位置。最终,我们采取了折中方案,使用Qupath软件加载VSI格式,Qupath内置的Bioformats库能够正确读取VSI格式,并将每个扫描区域单独显示为一张图片。随后,我们在Qupath中手动导出每个区域的图片为OME-TIFF格式,最终成功使用OpenSlide读取这些OME-TIFF格式的图片。 蔡司 CZI格式蔡司的扫描仪通常用于多通道荧光图像的全片扫描,但OpenSlide目前无法读取多通道的CZI格式。我们的解决方案是采用pylibCZIrw库进行读取,该库可从 https://github.com/ZEISS/pylibczirw/ 下载,由蔡司官方提供。pylibCZIrw库是对libCZI C++库的Python封装,读取速度略逊于OpenSlide,且获取头文件信息的便捷性也不及OpenSlide。 国产品牌厂商 江丰 KFB格式江丰在国内厂商中对格式开源支持力度最大,其市场占有率也名列前茅。针对江丰的KFB格式,提供以下四种解决方案:1)联系厂商,将购买的江丰扫描仪所保存的切片格式从KFB更换为SVS,然后使用OpenSlide读取SVS格式。值得注意的是,江丰扫描仪自带这一隐藏功能,但需厂家工作人员解锁;2)使用厂商提供的KFB转SVS的小软件,一般询问管理江丰扫描仪的实验室老师即可获得该软件,转换后的SVS文件可使用OpenSlide读取;3)从https://github.com/yasohasakii/WSI-SDK获取libImageOperationLib.so动态库,结合提供的Python脚本读取KFB格式,并通过Tifffile库将KFB格式转换为SVS格式,最后使用OpenSlide进行读取;4)最新的OpenSlide库中尚未正式发布的修正可以直接用于读取KFB格式。具体信息请参见 cid:link_0/pull/623。目前我们尚未进行测试,有兴趣的同学可以尝试。 麦克奥迪 MDSX格式麦克奥迪是显微镜领域的领先企业,也是国内较早生产数字病理切片扫描仪的公司,但近年来市场上麦克奥迪的扫描仪相对较少。其MDSX格式较难以读取,目前尚未找到特别有效的解决方案。在之前的项目中,我们采取的折中方案是使用扫描仪软件将图像保存为原始的TIFF文件。需要说明的是,此处的TIFF并非我们常说的多级分辨率TIFF,而是一张普通的单层分辨率TIFF,显然,对于数字病理切片而言,单层TIFF图像的读取并不方便。尽管后续可以使用Tifffile将单层TIFF转换为SVS格式,但转换速度十分缓慢。好消息是,最近在OpenSlide库中出现了一项尚未正式发布的修正,可以直接使用OpenSlide读取MDSX格式,具体信息请见 cid:link_0/pull/624。如果您遇到MDSX格式可尝试这一方案。 生强 Sdpc格式生强的扫描仪市场占有率日渐增加,参观生强时获悉其扫描仪支持直接保存为SVS格式。如果已有的文件为SDPC格式,可使用 opensdpc库进行读取,该库是一个仿照OpenSlide的Python库,具体信息请参阅https://github.com/WonderLandxD/opensdpc。需要注意的是,所有基于Python读写的库均存在一定的性能瓶颈。 英特美迪 Tron格式英特美迪的TRON格式本质上是一个压缩包。我们最初使用厂商提供的C# .NET动态库读取该格式,但在Python中,并不能像OpenSlide库那样指定任意层级和任意大小的窗口来读取,因此只能通过Tifffile先将TRON格式转换为SVS格式。但是在Linux系统下进行格式转换时,过程十分耗时。经过与厂商的良好沟通,厂商开发了一款专门用于将TRON格式转换为SVS格式的小软件。如有读取TRON格式需求的同学,可以联系厂商索要该转换软件,后续可使用OpenSlide读取转换后的SVS格式。 优纳 Tmap格式优纳的Tmap格式我们遇到较少,目前尚未找到合适的直接读取工具。我们采取的方案类似于MDSX格式,即扫描后将切片直接保存为普通的TIFF格式,再使用Tifffile转换为SVS格式进行读取 安必平 ibl格式爱病理是安必平旗下的数字病理扫描仪品牌,其数字切片格式为IBL格式。目前也没有合适的直接读取工具。不过,爱病理的扫描仪提供了将文件保存为SVS格式的选项,若有需要可在扫描时进行设置,保存后的文件后缀为.svs.done,去掉.done后即可用OpenSlide读取。 综上所述,OpenSlide具有良好的兼容性和读取速度,是我们工作流程中数字病理图像处理的首选工具。对于无法直接读取的格式,我们通常将其转换为SVS格式保存,然后再使用OpenSlide进行处理。此外,这里推荐三个工具库,BioFormats,cuCIM和ASAP。BioFormats库是一个非常强大的显微镜图像格式读取库。然而,它在Python下的接口支持并不理想,使用BioFormats时需要先调用Java虚拟机,不仅使用不便,还容易出现环境配置方面的问题,因此我们并未常规使用。RAPIDS的cuCIM库是一个专为多层级高分辨率图像读取设计的加速库,利用其GPU加速功能后,数字切片的读取速度据称比Tifffile快10倍。ASAP库是荷兰奈梅亨大学发布的一个基于C语言开发的数字病理切片读写库,读取速度不亚于OpenSlide, 并提供了写图的功能,不足之处是支持的图像格式略少且切片属性等头文件信息的获取不如OpenSlide便捷。有兴趣的同学可以尝试一下。以上是我们在日常项目中遇到的数字病理切片格式及其读取方法,虽然可能不是最优方案,但均经过实践验证。 本文章转载自微信公众号:AI病理视界
-
9月17日-19日,第十一届华为全联接大会在上海举办。大会期间,AI硬件智能体圆桌举行。圆桌以“AI硬件智能体,焕发智能硬件创新体验”为主题,汇聚华为云、产业咨询机构、智能硬件企业、大模型及智能体领域嘉宾,围绕技术框架、产业趋势、落地案例、生态升级等维度,探讨智能体如何赋能硬件能力、重塑产品价值与行业生态。AI硬件从品类竞争、感知入口走向场景执行闭环华为云伙伴与生态部总裁康晓宇在开场致辞中表示,华为云坚持“共建智能时代硅基黑土地”的策略,专注做好赋能硬件智能化的AI Infra,把模型创新、场景开发、硬件落地留给伙伴,让每一位伙伴的行业知识、创新能力、场景经验,都能依托华为云的底座能力快速落地,让每一个Token都能产生真实的社会价值,与伙伴“技术共生,商业共赢”。他介绍,华为云已发布行业AI梦工厂-AI硬件专区,沉淀10多个场景应用模板、100多个场景化Skill,覆盖文旅导览、智能文档、销售助手、情感交互等场景。WaldPoint咨询公司合伙人康正中指出,下一代AI硬件不是寻找新品类,而是构建从感知到执行的闭环系统。他援引数据称,到2030年全球端侧AI市场可达1.2万亿元。他提出AI硬件三条生存法则:用户愿不愿意一直用、能不能持续懂我、能否稳定完成任务,最终以线下货架“补货”作为商业化闭环的验证标准。技术赋能:智能体成为硬件升级的核心中枢华为云AI硬件智能体业务负责人系统介绍了华为云AI硬件智能体解决方案。他表示,华为云将深耕行业应用场景,通过端云协同的AI硬件解决方案,协同伙伴赋能行业客户的智能化落地。从方案维度,华为云已构建AI硬件智能体平台、场景化模型、文旅逛展应用模板、DocZip文档智能体等多维度的平台能力,支持伙伴进行零代码开发与可视化配置,快速构建场景化方案;从商业维度,华为云提供FTR方案认证、基线解决方案认证等多种形式,并配套测试券、市场发展基金、联合项目拓展的权益支持,促进伙伴联合解决方案的商业落地。首场圆桌讨论聚焦开放生态,与会嘉宾围绕端侧芯片/模组、模型、Agent等产业链协同展开交流。共识认为,面向企业客户的AI硬件智能体落地,需要芯片模组、大模型能力、Agent应用能力全链条协同,单点产品难以支撑行业规模化落地。场景验证:从录音卡到智能眼镜,跨品类方案落地深圳市驿道智能科技有限公司YoooClaw 产品经理庄程星分享“端云协同赋能 AI 硬件-从上下文入口到 Agent 执行闭环。方案以无感便捷形态采集用户多维度上下文,通过结构化处理后交给后端通用 Agent 执行。目前已接入华为云DocZip文档能力与MaaS 模型等原子能力,上市3个月抖音电商类目Top1。四川影目科技政企业务合伙人张明镜分享“从新奇感到真价值,让每一次看见,都成为理解——AI+AR眼镜的产业实践”。他援引沙利文数据称,影目在国内一体式AR+AI智能眼镜品类销量占比37.8%,位列第一。他认为AI眼镜核心价值在于连接人与知识、人与场景,在文旅场景中与华为云合作,采用轻+重两路模型接入,实现AI导览、文旅智能体对话、实时翻译、导航等功能。第二场圆桌讨论以“虚实融合的双向奔赴,AI硬件智能体在行业场景下如何重塑用户体验”为主题。与会嘉宾围绕用户黏性、百万台硬件出货路径、儿童AI教育等话题展开交流,认为场景化的用户体验已成为AI硬件价值实现的关键标尺,智能体正推动硬件从功能设备走向场景服务入口。上海任意门科技有限公司Soul AI技术负责人摇光分享“从能听会记到懂你情绪:情感模型重塑AI硬件的用户体验与商业价值”。他介绍,Soul站内AI相关功能已经拥有460万日均活跃用户。其AI硬件背后是自研SoulX大模型体系,基于华为云昇腾卡训练和部署推理,端侧实现轻量唤醒,云侧完成深度推理、长记忆RAG与模型路由。他认为,AI陪伴硬件本质是情绪价值交付,硬件是入口,付费来自关系与Token消耗的订阅,核心是感知情绪、理解关系、正确回应的完整链路。本次圆桌完整呈现了AI硬件智能体的产业逻辑、技术关键点与场景落地路径:硬件终端是价值入口,大模型是智能底座,场景化智能体是赋能中枢。AI硬件的下半场,是智能体赋能万物硬件的时代。未来,不仅仅是算法、模型的,更是智能体驱动硬件、定义场景、落地行业、创造价值。华为云将继续深耕技术,使能生态伙伴,共同推动AI硬件产业高质量发展及行业场景落地。 本文章转载自微信公众号:华为云生态
-
H&E染色几乎是每位病理医生的“必备武器”,廉价、快速,还能清楚呈现组织和细胞结构。但它只能告诉你“长得像什么”,却看不见免疫细胞亚群、蛋白标记物或功能状态这些关键信息。多重免疫荧光(mIF)能同时显示多种标记,揭示肿瘤微环境的复杂格局,却因为成本高、操作复杂,在临床和大队列研究中难以普及。AI来了——虚拟多重染色技术可以直接从H&E图像预测多标记分布,生成近似mIF的图像。ROSIE、HistoPlexer、HEMIT和MIPHEI等研究展示了不同的技术路径:大规模训练、空间一致性优化、多层级建模和病理大模型引入,让历史H&E数据“焕发新生”,支持大队列空间组学和临床预测建模。当然,挑战依旧存在:数据配准、标记物可预测性、评价体系、跨中心泛化都需要解决。但无论如何,虚拟染色已经从概念走向应用,为病理AI开辟了新的研究和临床方向,也让我们看到了H&E的更多可能性。 1、为什么要把 H&E“染”成多重标记图?mIF技术能够在同一张组织切片上同时检测十余种甚至更多的分子标志物,从而描绘出肿瘤微环境中复杂的细胞类型及空间格局。这一能力在生物标志物发现、肿瘤免疫微环境研究以及免疫治疗疗效预测方面具有不可替代的价值。然而,现实情况却是mIF推广受限重重:昂贵的设备与试剂、繁琐的实验流程、耗时冗长的处理过程,以及对样本质量和数量的严格要求,使其很难在常规临床或大规模队列研究中普及开来。也正因此,一个关键问题浮现出来:能否在保留H&E的普适性与便利性的同时,借助人工智能的方法,为其“赋予”分子层面的多重信息?换言之,能否让H&E在虚拟空间里“被染成”多重免疫荧光图像?在这一思路下,虚拟多重染色(virtual multiplex staining)的研究应运而生。通过深度学习模型,研究者尝试从常规H&E切片直接预测多标记分布,从而生成与真实mIF近似的图像。这种方法的意义在于,它不仅能为现有的切片增加额外信息,还能让历史积累下来的庞大H&E档案“焕发新生”。虚拟染色可以支持大队列的空间组学研究,加速临床病例的筛查与分层,甚至作为下游自动化分析和预后模型的输入。在成本、通量和样本利用率等方面,它展现出巨大的潜力。 2、代表性研究与技术路径这一方向从最初的概念验证,到后续在模型架构与迁移学习上的不断优化,已经逐渐形成了相对清晰的技术路线。几项代表性工作——ROSIE、HistoPlexer、HEMIT与MIPHEI——为我们提供了理解这一领域演化的重要窗口。 ROSIEROSIE的研究近期发表于Nature Communications,可以视作虚拟多重免疫荧光的首次大规模概念验证。其方法学核心在于基于ConvNext卷积神经网络,利用大规模配对的H&E与CODEX共染数据进行训练,涵盖超过两千份样本、约三千万细胞与五十个标记物。模型以小块H&E图像为输入,预测对应区域的多蛋白表达,并通过拼接生成整幅虚拟mIF图像。与以往依赖小数据集或对抗生成网络的研究不同,ROSIE采用稳定的MSE损失进行训练,并引入动态范围和Wasserstein距离作为质量控制指标,能够识别并剔除低质量预测。在验证中,ROSIE能够在细胞分型、组织结构识别以及免疫微环境分析中保持较高准确度,即使在未见过的癌种或跨中心数据中也展现出良好的鲁棒性。一个有趣的发现是,卷积神经网络在这一任务上甚至优于参数规模更大的ViT类病理大模型,说明在局部特征驱动的任务中,卷积的优势依然不可忽视。HistoPlexerHistoPlexer的研究则发表于Nature Machine Intelligence,提出了一种基于条件生成对抗网络(cGAN)的框架,可以直接从H&E切片生成多重蛋白表达图谱。它的特点是能够同时预测11种关键肿瘤和免疫标记物,并通过引入多尺度像素一致性与对比损失来缓解切片间偏移,保证预测的空间模式与真实情况一致。在转移性黑色素瘤的TuPro数据集上,HistoPlexer的生成结果不仅在图像质量指标上全面超越基线方法,还能够准确保留免疫标记物的空间共定位模式。在下游验证中,它对肿瘤免疫“热/冷”亚型分层和患者生存预测均展现出增益,说明虚拟染色结果可以转化为有临床意义的模型特征。HEMITHEMIT的贡献在于提出了首个公开的、在同一切片上完成H&E与mIF染色并实现细胞级配准的数据集,从而避免了相邻切片配准带来的错位问题。其方法采用双分支的pix2pix生成器架构,一方面利用残差卷积网络捕捉局部空间细节,另一方面通过Swin Transformer建模多尺度上下文信息,再通过特征融合实现从细胞到组织的多层级建模。实验结果显示,HEMIT在SSIM、PSNR等指标上均优于U-Net、ResNet等基线方法,并且在下游的细胞计数与阳性比例分析中,与真实mIF保持高度一致,尤其在CD3这类免疫标志物的预测上表现突出。MIPHEIMIPHEI则把基础病理大模型引入到这一任务中。作者将预训练的ViT病理基础大模型(H-optimus-0)作为编码器,并通过ViT-to-U-Net的混合设计(如ViTMatte/UNETR型变体)将强大的全局表征引入mIF预测任务;训练策略上采用按marker方差加权的MSE重构损失(没有依赖对抗损失,因为实验表明判别器的引入反而降低了细胞层面的准确度),并探索了LoRA低秩适配与冻结编码器两种高效微调方式以在计算与泛化间取得平衡。该模型在ORION数据集上训练,能够预测15个免疫标志物的分布,并在HEMIT和IMMUcan等外部队列中展现了跨域泛化能力。尤其值得注意的是,MIPHEI在panCK这类形态学相关性较强的标记物上预测效果显著,而在FOXP3、PD-L1这类功能性或稀有标记上则仍然存在困难。这一点凸显了虚拟染色的预测边界:不是所有标记都能被同等程度地再现。综合来看,四项研究代表了不同的发展路径:ROSIE展示了大规模数据驱动的可能性,HistoPlexer强调联合学习与空间一致性,HEMIT聚焦于数据质量与架构优化,而MIPHEI则探索了病理大模型与虚拟染色的结合。它们共同揭示了这一方向的潜力与瓶颈,也为未来的研究奠定了技术基础。 3、关键挑战与现实困境虚拟多重染色的兴起为病理学带来了令人振奋的前景,但在从概念验证走向临床应用的过程中,仍面临一系列不可忽视的挑战。这些挑战既包括技术层面的瓶颈,也涉及伦理、应用场景以及科研价值的边界。数据与配准的基础难题理论上,如果在同一切片上同时获得H&E与目标多标染色(mIF或mIHC),模型可学习到真实的像素级或细胞级对应关系,实现单细胞定位、共定位分析及定量计算。然而,复染流程技术难度大,一些荧光或化学试剂在连续处理时会相互干扰或损伤组织,使得同片复染的数据极为稀少。大多数研究因此采用相邻切片配准,但切割、装片及固定过程中产生的微小变形或缺损,会导致细胞核级对齐困难,降低像素级损失的有效性,限制模型在单细胞级别的可信度。因此,数据“同源性”与“配准精度”是模型能否做出生物学可靠推断的首要瓶颈。标志物可预测性的非均匀性:哪些容易、哪些很难?上述四项研究都表明,并非所有标记物都能被同等程度地“虚拟”出来。具有明显形态学对应关系或广泛分布的标记(如pan-Cytokeratin)通常较容易被模型学出并稳定预测;而表达稀疏、仅在特定免疫亚群或功能状态下出现的标记(如某些T细胞亚型标志物或功能性磷酸化形式)则难以从H&E中准确推断。虚拟染色方法应识别不同标记的“可预测边界”,应用时不可“一刀切”。评价体系的不足:为什么常用指标不够?现行研究多用SSIM、PSNR、FID等图像质量指标衡量生成图像与真值图的相似度,但这些指标主要反映像素级或统计分布的相似性,无法直接衡量生物学功能正确性。对临床和科研而言,更重要的是生成图像在细胞分型、空间共定位以及下游任务表现(如免疫浸润评分、预后预测)上的可靠性。因此,更合适的评估体系应包括像素/细胞级分类指标、空间统计学指标以及基于真实临床结局的下游任务验证。只有结合这些维度,才能判断虚拟染色算法在科研或临床决策中的可用性。可解释性、泛化性与跨中心验证的必需性基础模型与复杂生成架构虽能提升性能,但也使解释变得困难。病理医生需要理解模型为何在某处预测CD8信号、为何在另一处未预测,这涉及可解释性、可追溯性与临床责任。单中心训练的结果不能保证在其他中心复现,染色协议、扫描仪和组织来源差异会导致分布偏移。因此,多中心盲测、域自适应技术与明确的质量控制流程,是将该类方法从研究应用转向临床的必备环节。虚拟染色的定位:基础研究的替代吗?还是临床模型的输入?虚拟染色并非万能工具。对于要求极高生物学精确性的基础研究(如解析免疫细胞亚群分子机制),现阶段虚拟结果可能因细微偏差而误导结论,因此不宜直接替代实验数据。然而在数据驱动的临床建模场景中,大样本层面的稳定信号更重要。如果虚拟染色能在大队列中提供额外、稳定且与结局相关的特征(如用于生存模型、免疫治疗反应预测或分层筛查),其价值就非常现实且可操作。验证这一路径需要大规模、多中心队列研究,将虚拟输出与真实临床终点直接挂钩。未来的重点可能从“追求像真实mIF一样的像素精确复现”,转向“评估虚拟输出在临床下游任务中的效用”。 4、总结:H&E虚拟多重免疫荧光到底靠不靠谱?我们回到推文的题目中的核心问题:H&E虚拟多重免疫荧光到底靠不靠谱?答案需要结合前述的技术现状、数据基础以及应用目标来综合判断。首先,我们必须以敬畏的态度看待技术的发展。在人工智能快速演进的今天,算法和计算能力正以前所未有的速度提升。理论上,如果未来能够获得足够规模和高质量的配对H&E与mIF数据,或者出现更高效的模型架构和训练策略,虚拟染色性能完全有可能从目前的“可用但有限”变成高度可靠。这种量变引发质变的可能性,意味着虚拟多重染色技术在未来有潜力实现接近实验测定的精度。然而,就目前的数据量和算法能力而言,这项技术仍存在明显局限。基础研究层面,尤其是需要精确解析细胞亚型、功能状态或微小空间共定位的科研问题,虚拟结果的可靠性尚不足以替代实验测定。模型在稀有标记或功能性标记上的预测精度有限,其误差可能直接影响科学结论。因此,现阶段不宜将虚拟染色作为基础生物学研究的主要依据。在临床研究和应用方面,虚拟染色的价值则更具条件性。其可行性和可靠性依赖于具体项目、标记物以及下游分析目标。例如,在大规模队列的生存预测或免疫治疗响应建模中,虚拟染色提供的空间分子信息可能足以贡献有用特征,从而提高模型性能,但仍需通过跨染色平台、跨中心、跨癌种的验证来确保稳健性。换言之,临床应用不是盲目推广,而是针对特定场景进行科学评估和谨慎使用。总的来说,虚拟多重免疫荧光虽然在当前阶段存在局限,但它为临床研究提供了一个新的切入口。它不仅展示了AI技术在病理学中的潜力,也开辟了未来系统性探索的方向。接下来的关键任务是开展大规模、多中心的临床研究,明确该技术在不同癌种和应用场景中的可行性、效用和局限,从而将这一新兴技术逐步转化为临床研究和实践的可靠工具。换句话说,虚拟染色目前既是一个有待验证的技术挑战,也是值得投入的临床研究新方向。 本文章转载自微信公众号:AI病理视界
-
病理大模型来了。它不会代替病理医生,却能成为您的"最强辅助"。培养周期长、工作负荷大、资源分布不均等病理行业的难题,正随数智化变革迎来转机。掌握并驾驭高质量临床级AI的病理医生,将引领下一个医学时代。本期直播特邀瑞金医院上海市数字医学创新中心的马勇老师,解码RuiPath病理大模型:病理AI核心概念拆解:如何构建靠谱的"算法医生"从"看AI诊断"到"亲手训AI":10分钟,打造属于您科室的病理AI模型扫码预约,观看直播即送专属好礼,不见不散!
-
华为云“行业AI梦工厂”正在成为各行各业智能化升级的“超级孵化器”。AI落地难,难在行业Know-How难以复用。华为云“行业AI梦工厂”的思路,是通过沉淀行业场景、模型、数据、知识和智能体等资产,把单个项目经验转化为可复用的行业能力。在2026年华为云HC大会上,“行业AI梦工厂”再度扩容,全新发布“AI硬件专区”,将AI落地的触角伸向城市治理与端云协同新战场,也为华为云企业级AI产品全面落地再添重要拼图。华为云联合AI硬件智能体行业伙伴正式发布“行业AI梦工厂-AI硬件专区”,提供端云协同、开箱即用的一站式AI硬件解决方案。专区重点聚焦AI眼镜、AI玩具、AI录音卡三大终端设备,赋能企业会议、文旅逛展、工业巡检等重点场景。首批入驻该专区的核心伙伴和AI硬件厂家共15家,包括影目科技、BSoul、润和软件、极稚科技、星穹方舟等行业细分领域的标杆企业。华为云提供OfficeAce、DocZip等服务,聚合伙伴的场景化Agent/Skill资产,支持伙伴基于华为云AI硬件平台进行资产调用及低代码开发。行业伙伴可依托专区的“精选模型”“专家Agent”及“应用模板”等AI资产,轻松适配各类智能硬件。目前,专区已协同合作伙伴接入20+终端类型,沉淀10+场景应用模版、110+场景化Skill,落地10+案例。例如,润和AI智能玩具端云协同解决方案、影目科技全场景AR智能眼镜与端云协同解决方案、星穹方舟AI可穿戴智能协作解决方案等。极稚科技依托华为云基础设施构建智能体应用敏捷开发与安全集成平台,基于MaaS服务能力快速构建智能体应用及内部Coding模型Provider,实现业务智能体能力的快速整合、记忆层接入与敏捷上线。如今“AI硬件专区”加入,华为云AI规模化落地的拼图更加完整。华为云企业级AI产品全面落地,正在加速千行万业的智能化升级。华为云“行业AI梦工厂”正在把AI硬件从“单点项目”推向“规模化复制”,不只是口号,而是正在发生的产业进程。 欢迎扫码,前往“AI硬件专区”了解更多AI硬件价值资产
-
企业 GEO 选型与落地指南:五把尺子量出靠谱服务商、三步走让 AI 营销真正落地一、GEO 选型的三个常见误区随着 AI 搜索普及,GEO 成为企业营销的高频热词,市面上各类服务商也如雨后春笋般涌现。但在选型之前,企业先要避开三个常见误区。误区一:把 GEO 当成"发稿即见效"的快餐。有些服务商承诺交几篇稿子、发一批渠道,就能让品牌"瞬间上榜"。但 GEO 的本质是信任构建与长期迭代,AI 对内容与信源的采信需要时间沉淀,"一锤子买卖"式的投放,往往钱花了、效果却难以为继。误区二:只看价格、只比话术。低价背后可能是信源质量低劣、缺乏系统支撑、没有效果追踪;而真正专业的 GEO 需要系统、信源与数据的长期投入。误区三:忽视"效果可查"这一硬指标。做 GEO 最怕的就是"看不见变化",一家不能提供监测报表的服务商,等于让企业为"黑盒"买单。之所以会陷入这些误区,根源在于 GEO 是个相对年轻、认知门槛较高的领域,信息不对称严重。正因如此,企业更需要一套结构化的评估框架,而不是凭感觉、看宣传去决策。二、五把尺子:衡量靠谱的 GEO 服务商那么,企业究竟该用什么标准来选?可以把评估拆成五个维度,也就是"五把尺子"。第一把尺子,看行业数据积淀。GEO 效果高度依赖对行业与用户的理解,服务商有没有足够的行业数据沉淀,直接决定优化策略是否贴合实际。第二把尺子,看内容资产厚度。服务商能否把产品、技术、资质、应用等信息整理成 AI 可理解、可引用的内容资产,是见效的前提。第三把尺子,看 AI 信源能力。是否拥有自营行业网站与媒体矩阵,信源质量越高、越靠谱,被 AI 采信并引用的可能性越大。第四把尺子,看长期运维能力。GEO 需要持续迭代,服务商是否具备稳定的运维与迭代机制,决定了效果能否长期稳定。第五把尺子,看效果是否可查。是否提供报表与监测,能否看清投入后的可见性变化,是评估服务价值的重要依据。把五把尺子落到验证动作上,可以概括为"五看":看案例,服务商能否提供可验证的行业案例与效果数据;看数据,信源与流量池的真实规模;看交付,服务边界是否清晰、承诺是否可兑现;看运维,技术底座与持续迭代能力;看续期,已合作客户的续费率。这五个动作,能有效过滤掉大量"只讲概念、不见落地"的服务商。以这五把尺子来衡量兴旺宝GEO:它背靠二十余年垂直行业站群,拥有超百万供应商与 169 万采购商的现成流量池,行业数据积淀深厚;自研"企业GEO推广服务平台"与"企业品牌AI监测报表"双核系统,内容资产与效果可查兼得;自有行业网站与媒体矩阵构成扎实的信源基础;标准化的十步作业流程与双机房运维保障了长期迭代能力。可以说,这五把尺子,兴旺宝GEO 都经得起量。需要说明的是,五把尺子并不是五选一,而是缺一不可。一家服务商即便内容能力出色,如果缺乏信源与运维支撑,效果也难以持续;反之,只有流量池而没有专业内容,同样无法赢得 AI 信任。企业应在五个维度上综合打分,优先选择各项均衡、且在自己最看重的维度上明显领先的服务商。三、GEO 与 SEO 的关系:互补而非替代不少企业会问:我已经在做 SEO 了,还要做 GEO 吗?答案是两者并不冲突,而是互补关系。SEO 解决"被搜到"的问题,让品牌在搜索引擎结果页中获得排名;GEO 解决"被 AI 推荐"的问题,让品牌在 AI 生成答案中被引用。在 AI 搜索逐渐成为入口的今天,两者可以协同布局:SEO 守住传统的搜索阵地,GEO 开拓 AI 问答的新入口。对预算有限的中小企业,也可以先从重点产品、重点词入手,结合自身情况分阶段推进。从投入产出的角度看,两者也是错位互补的。SEO 更多是"存量竞争",在已经拥挤的关键词上争夺位置;GEO 更多是"增量机会",在刚刚兴起、竞争尚不充分的 AI 答案里占位。对企业而言,在 AI 搜索尚未完全定型、竞争格局尚在形成的关键期布局 GEO,成本相对可控,而先发红利却最为丰厚。四、企业落地 GEO 的三步走路线图明确了选型标准,还要知道怎么落地。一套标准的 GEO 落地路径,可以概括为三步。第一步,做诊断,摸清现状。测试主流 AI 平台上与品牌相关的查询,记录当前被引用的频率与推荐位置,明确差距与发力点。第二步,做建设,夯实根基。把官网核心内容改造成"问题—数据—结论"的结构化表达,搭建品牌知识库;在权威媒体、行业平台、知识社区布局权威信源,形成信源矩阵;同时治理跨平台信息的一致性,确保各平台对品牌的描述与数据统一。第三步,做迭代,持续优化。建立周度或月度的监测机制,追踪提及率、引用准确率的变化,根据 AI 平台规则与用户提问方式的变化不断调整内容与信源,让 GEO 长期有效。三步走看似简单,实则环环相扣。对企业而言,更重要的是选择一家能把这套流程真正跑起来的服务商——而兴旺宝GEO 的十步标准化作业流程,本质上正是这套方法的工程化落地。它把"诊断—建设—迭代"拆解为可执行、可追踪、可量化的环节,让企业随时知道自己在哪一步、效果怎么样、下一步该做什么。在执行层面,诊断的深度决定建设的方向。一次扎实的诊断,应覆盖多个主流 AI 平台、多组与品牌相关的查询,并对比主要竞争对手的表现,才能客观还原品牌在 AI 答案中的真实位置。兴旺宝GEO 把这套诊断逻辑内化到十步流程的第一步,确保后续每一步都建立在真实基线之上。五、不同规模企业如何选型不同规模的企业,GEO 的切入点应该有所不同。对中小企业而言,预算有限、资源集中,可以从重点产品、重点词入手,选择高性价比的入门套餐,快速验证效果、逐步扩大布局。对中大型企业而言,产品线丰富、区域布局广,适合选择覆盖全面的标准套餐,进行全品类、全区域的深度优化。对上市公司与世界五百强而言,品牌体量大、决策链路长,适合选择高端套餐或定制化服务,由专属团队进行战略规划与长期合作。值得强调的是,无论规模大小,选择 GEO 服务商都应以"效果可查、边界透明"为前提——服务包含哪些内容、后续维护是否到位、效果如何量化,都应在合作前明确,避免出现交付不完整或边界模糊的情况。透明的服务边界,既是企业权益的保障,也是服务商专业度的体现。六、如何评估 GEO 的投入产出任何营销投入,最终都要回答一个问题:这笔钱花得值不值?GEO 的评估,不能只看短期流量,而要建立一套兼顾过程与结果的指标。过程指标包括:品牌在主流 AI 平台上的提及率、被引用次数、推荐位置、内容收录情况,以及跨平台的信息一致程度。结果指标则指向更贴近生意的维度:由 AI 触达带来的咨询、询盘、留资乃至成交线索。兴旺宝GEO 通过效果报表,把这两类指标直观呈现,让企业既能看到"品牌正在被 AI 看见"的进展,也能衡量"看见之后有没有带来生意"的转化。需要提醒的是,GEO 的投入产出应放在较长周期里评估。AI 对内容与信源的采信是渐进过程,前期的内容建设与信源布局,往往在中后期才逐步兑现为稳定的推荐与询盘。企业只要守住"效果可查、数据说话"的原则,就能理性判断投入价值,避免被短期波动或夸大宣传带偏节奏。七、GEO 落地的常见问题在落地过程中,企业往往还有一些具体疑问。这里集中回应几个高频问题。问:GEO 和 SEO 会冲突吗?答:不会。SEO 解决"被搜到",GEO 解决"被 AI 推荐",二者在 AI 搜索环境下互补布局。问:中小企业适合做 GEO 吗?答:适合。GEO 的关键在于内容质量与信源建设,中小企业可以从重点产品、重点词入手,结合预算选择对应档位的方案。问:GEO 多久能看到效果?答:AI 平台的内容与信源变化需要持续建设与维护,不宜以一次性投放衡量,应结合阶段数据观察变化趋势,长期维护更利于效果稳定。问:如何衡量 GEO 的效果?答:通过效果报表持续追踪,关注品牌在 AI 答案中的曝光频次、推荐位置与正向输出情况,评估营销投入的转化价值。回答这些问题的底层逻辑是一致的:GEO 是一场需要耐心与持续投入的"长期主义"生意,它的回报不以"几天见效"衡量,而以"稳定占位、持续被推荐"衡量。企业只要建立起正确的预期,并在选型时守好"效果可查、边界透明"的底线,就能让 GEO 这笔投入真正转化为可持续的增长。八、结语AI 搜索时代,企业营销的坐标系已经改变:从"在结果页争取排名",转向"在 AI 答案中成为可信信源"。选择 GEO,就是选择在新一代流量入口中占位;而选对服务商,则决定了这笔投入能否转化为切实的增长。用五把尺子衡量、按三步走落地,再借助可量化的效果报表持续优化,企业就能在 AI 营销的浪潮中,把先机变成胜势。AI 营销的浪潮不会等人,但冲动决策同样不可取。用理性选型守好入口,用科学落地跑通路径,再用可量化的报表校准方向,企业才能在喧嚣中保持清醒,让每一分预算都朝着"被看见、被推荐、被选择"的终极目标前进。
-
在病理AI的众多方向中,H&E切片直接预测基因突变无疑是非常具吸引力的一条路径。它让传统的形态学观察与分子层面的精准医学形成前所未有的连接。多项相关的研究发表于Nature Medicine, Lancet Oncology等临床顶刊。然而,研究者也很快发现并不是所有的基因都能从H&E图像中被准确预测。不同基因在组织学层面的表现力差异极大,某些突变会带来显著的形态改变,而更多的分子事件则可能隐身于显微镜之下。因此,当我们设计一项以H&E预测突变的研究时,可能首先会面对两个问题:哪些基因值得预测?这些基因是否够被比较准确地预测?前者是个临床问题,需要从潜在的临床应用角度着手判断从H&E图像预测某些基因是否有临床价值。而后者则是个暂时没有明确答案的技术问题,我们通常只能这样回答临床合作方,先建模试一试才能知道大致的预测的效能。这无形中增加了研究课题的风险。而回答这第二个问题的关键,是要有一个横跨癌种、跨平台、包含足够样本的统一测试基准,对上千个基因逐一测试其从不同肿瘤的H&E图像中预测的可能性。这需要极大的数据体量,而且要求高质量的配对数据(同时具备组织学图像和基因测序结果)。之前发表的相关的多基因预测的测试基准的研究基本都是围绕公开的TCGA数据集进行的,毕竟这是目前公开数据集领域可获取的最大的包含H&E图像和对应测序结果的肿瘤数据集。但是毕竟其样本数量也有限,总共就1万张出头的WSI,还需要划分成训练和测试集,无论是作为训练样本的数量还是测试样本的数量都有局限。但是近日我们发现了一份绝佳的测试基准研究,可以作为参考帮助我们判断某一个癌种的某一个基因其从H&E图像预测的性能大约会在怎样的一个范围。 一、从Paige AI和OmniScreen说起Paige AI是目前全球在病理AI商业化与基础模型研发上的领先公司之一,其在成立伊始就拥有美国顶尖的肿瘤中心MSKCC独家的百万张数字病理切片和相应临床资料的授权。前不久Paige AI被Tempus全资收购,有兴趣了解Paige AI的读者可以阅读我们相关的报道(深度洞察 | 从MSKCC到Tempus:Paige的荣耀与失落,病理AI产业化的下一幕)。Paige AI在24年8月份推出了一个名为OminiScreen的创新病理AI产品,能够从常规的H&E染色数字病理切片中评估超过505个基因,并检测出1,228种分子生物标志物。研究团队同期就在Arxiv预印本平台上线了相关的技术文档,25年的7月更新到了最新的第4版。虽然这篇文档的主要内容是对Ominiscreen系统的介绍及其临床测试结果的展示,但是这不就是我们梦寐以求的测评基础吗?其最独一无二的就是基于MSKCC样本的训练数据集。说到精准医疗或者分子病理检测,可能很难避开MSKCC开发的MSK-IMPACT panel。MSK-IMPACT是最早获得FDA批准并广泛使用的癌症大Panel之一,覆盖489个基因,为大量患者提供了标准化的分子检测结果。它是“从研究到临床”的首个全面可落地的癌症基因组检测平台,是精准肿瘤学从实验室研究走向临床实践的转折性标志, 在肿瘤分子病理史上具有里程碑意义。因而来自MSKCC的历史数据,是构建H&E病理图像预测各种基因突变的绝佳选择。 二、OmniScreen训练样本OmniScreen正是基于MSKCC这一独特资源构建的。训练数据主要来自MSK-IMPACT项目。每个病例同时拥有对应的H&E全切片图像与分子测序结果,共计67,608个样本、75,383张切片,涵盖71种癌症类型。为了验证模型的泛化能力,研究者还引入了TCGA数据集,包含11,406张切片、32种癌症类型。数据按照患者级别随机划分为训练集、调参集(tune set)和测试集,比例为4:1:1;其中训练集包含约4.6万例样本,调参集和测试集各约1万例样本。OmniScreen的预测目标涵盖了1637个生物标志物(biomarkers),对应MSK-IMPACT面板中的505个核心基因,并扩展到融合事件、基因拷贝数改变以及通路级别的分子特征。例如模型同时预测DNA损伤修复(DDR)、RTK/MEK/ERK、mTOR、TGF-β等经典信号通路的活化状态。此外,还包括反映全基因组不稳定性的指标,如高肿瘤突变负荷(TMB-H)、微卫星不稳定(MSI-H)、染色体不稳定性(CIN)、以及林奇综合征(Lynch syndrome)等。 三、OmniScreen训练方法OmniScreen采用了统一的多标签学习框架。与传统的“每个基因单独训练一个二分类预测模型”不同,它通过一个统一的神经网络同时完成上千个基因/标志物的预测。模型输入为从H&E切片中分割出的224×224像素图像块,经由Paige AI自研的基础模型Virchow2提取1280维特征嵌入。Virchow2在我们之前报道过的大模型测评中取得了综合性能最优的成绩,可谓目前性能最佳的病理基础大模型之一(深度洞察 | 病理大模型性能巅峰对决:不问出处,唯看临床实效)。这些图块级特征随后被送入带有注意力机制的前馈聚合网络中,以形成切片级预测。整个训练以多标签二元交叉熵损失为优化目标,网络同时学习1637个标签的预测概率。通过这种共享编码器与多输出头的结构,模型能够在统一特征空间内捕捉不同突变之间的潜在相关性,从而显著提升低频突变的可学习性与跨基因迁移能力。模型在切片级进行训练与推理,最终的样本级预测结果取该患者所有切片中预测概率的最大值,以确保突变信号的敏感捕捉。训练共进行了50个epoch,耗时约52小时,在两台NVIDIA A100节点(每台8张GPU)上完成。 四、OmniScreen评估方法模型训练完成后,通过调参集(tune set)进行性能选择与阈值确定。首先以平均AUC与平均平均精度(mean AP)作为综合指标选择最佳权重,仅统计标签中至少包含5个阳性样本的基因。随后,在调参集上针对每一个“癌种–基因”配对单独设定预测阈值,优化目标为 达到90%的灵敏度(sensitivity),以确保模型在筛查应用中尽可能减少漏检。每个阈值对应唯一的癌种–基因组合,并在测试集(MSK)与验证集(TCGA)上保持阈值的固定,生成二分类预测结果。这一基于高灵敏度原则的阈值策略,使OmniScreen能够在保持较强召回能力的同时实现对低风险病例的“rule-out”筛查,为AI辅助分子检测提供了可操作的临床路径。 五、OminScreen的测试结果OmniScreen在MSK-IMPACT与TCGA两个数据集上共测试了1637个生物标志物。模型在不同癌种及病理类型(原发与转移)上计算了每个生物标志物的AUC、灵敏度与特异度,以此评估其从H&E图像中预测的可行性。为了量化模型表现,作者设定了多级筛选标准:基线可预测基因(Baseline biomarkers):AUC>0.5,阳性比例>2%,至少2个阳性样本。满足此标准的共有739个基因特征,分布在346个基因、43种癌症类型中。这些基因的预测性能显著高于随机水平,表明H&E图像中确实包含可辨识的分子表型信号。高性能基因(High-performing biomarkers):进一步筛选AUC≥0.75,灵敏度≥0.75,特异度≥0.20,仍要求阳性比例≥2%。在15种最常见癌症中,共识别出427个高性能生物标志物,其平均AUC为0.84(平均灵敏度0.92,平均特异度0.55),涉及235个基因。顶级高流行基因(Top-performing biomarkers with high prevalence):定义为AUC≥0.85,阳性比例≥5%,灵敏度≥0.80,特异度≥0.30。共识别出93个基因组学改变符合这一最高级别的筛选标准,分属于55个不同的基因。此级别的基因主要集中于经典癌症驱动基因,如TP53、CDKN2A/B、TERT、RB1、MYC、PTEN等。在MSK验证集中,这93个标志物的平均AUC为0.90(范围0.85–0.99),平均灵敏度0.93,平均特异度0.66;其中29个基因改变在TCGA独立验证集中获得了重复验证,平均AUC为0.88(95% CI: 0.87–0.90),与MSK样本的结果一致。总体而言,在739个信号显著的生物标志物中,约有40%达到了可被视为“高性能”的水平,而其中一部分(AUC≥0.85)接近临床筛查的可用标准。平均AUC在原发肿瘤样本中更高(0.86±0.05)而在转移灶中略低(0.82±0.05),提示形态学异质性对预测能力有影响。在完成对1600余个基因和通路标志物的系统性测评后,OmniScreen研究进一步探讨了模型预测的稳健性与影响因素。结果显示,模型性能随肿瘤面积与训练样本量显著变化:适度排除面积极小的切片可轻微提升AUC,但过度过滤会丢失信号,而扩大训练数据可显著改善预测效果,尤其对表型不明显的突变更为关键。研究者还分析了模型的“假阳性”机制,发现许多被误判的病例携带同一信号通路内的其他突变,如KRAS、MET、ALK等,提示AI识别的是通路激活导致的共享形态表型,而非随机误差。通路级别分析进一步证实,RTK/MEK/ERK、mTOR、DDR等通路在多种癌症中的预测AUC均超过0.75,揭示了H&E切片中可被AI捕捉的分子通路层次表型。在可解释性和临床价值方面,模型能准确定位到具代表性的病理结构,如RB1缺失的平滑肌肉瘤、KMT2D突变的肺鳞癌和MSI-H伴TIL浸润的肿瘤;并在模拟检测路径中显示出显著的经济效益——AI预筛可使PCR检测成本降低约18%,NGS降低约26%。最后,与传统“单标签”模型相比,OmniScreen在低流行率突变上的表现明显更优,说明统一的多标签学习框架能通过共享特征空间提升稀有突变的检测能力。总体而言,这些扩展实验从数据依赖性、通路可解释性、临床可行性与稀有突变识别四个层面,确立了OmniScreen作为H&E基因预测领域方法学基准的地位。六、如何判断一个基因是否值得研究基于OmniScreen的结果,我们可以提出一套判断候选基因可行性的实用框架: 首先,应优先选择在OmniScreen中被验证为“高性能”或“顶级高流行”的基因。在设计新研究或特定癌种任务时,应首先查阅OmniScreen附录中的基因性能表格,确认候选基因是否位于高性能或顶级高流行范畴。如果目标基因不在此范围内,其H&E预测风险较高:可能是因为突变表型弱、样本量不足或组织异质性强,这类任务往往需要特别大的样本规模或特定的亚型建模策略方能取得较好结果。 其次,AUC虽是关键筛选指标,但在样本不平衡任务中并非充分条件。OmniScreen的分析显示,AUC在正负比例严重失衡时容易被多数类性能掩盖,高AUC并不等于良好的临床实用性。应结合灵敏度、特异度、NPV和PPV多维度指标来综合评估。例如,在筛查或“rule-out”任务中,高灵敏度与高NPV更重要;而在患者富集或药物入组任务中,应优先关注PPV提升。 第三,突变频率与表型强度是决定性因素。OmniScreen结果显示,高频突变模型收敛更快且稳定,但低频突变只要伴随显著形态表型,AI依然能准确预测。例如MEN1突变的胰腺神经内分泌瘤、VHL突变的肾透明细胞癌、WT1融合的小圆细胞肉瘤等均有高AUC表现。相反,部分通路内的调控基因虽突变频繁,但表型模糊,模型难以学习有效信号。由此可见,候选基因选择不应仅看突变率,更要评估其在病理形态上的“显影能力”:即是否具有稳定、可识别的组织学表型。 第四,通路层面的聚合分析常比单基因预测更稳健、更具生物学解释性。OmniScreen在RTK/MAPK、PI3K/AKT、mTOR、DDR、HRD等通路中的预测AUC普遍超过0.75,显示H&E切片更易反映通路级的功能活化状态,而非单一基因事件。当单基因信号弱或异质性强时,将任务上升到通路层面不仅能获得更好的模型性能,也更贴近病理学与生物机制的对应关系,为未来多任务与多模态建模提供了可靠方向。 最后,组织样本特征对预测性能影响显著,应关注肿瘤面积与样本数量。OmniScreen通过PanCancer Detect量化肿瘤面积后发现,当肿瘤面积过小(低于第35百分位)时模型AUC显著下降,而在大面积样本中性能明显提升。说明AI预测依赖足够的组织信息密度。因此,若研究对象包含穿刺活检样本,应与手术切除样本分开建模与评估,以防模型性能被系统性偏差掩盖。对于低突变率任务,还需尽可能扩大样本数量。此外,采用多标签训练框架往往优于单标签模型,尤其在低频突变或多基因共通通路场景下,通过共享特征空间可提高稀有事件的可检测性。 七、结 语OmniScreen不仅证明了H&E图像在突变预测中的潜力,也揭示了其边界——某些基因的形态信号足够强,可实现精确预测;另一些则几乎无法从形态学中提取信息。理解这种“可预测性分布”本身,正是未来研究设计的基础。对于研究者而言,在设计H&E突变预测任务时,不应盲目选择热门基因,而应基于如下思路:优先选择在大规模基线测评中已证实具备形态相关性的基因;评估目标癌种中样本数量与突变频率;并结合临床使用场景明确性能指标要求。在未来的病理AI研究中,这样的系统性基线将成为研究设计的指南针——帮助我们判断,哪些基因值得AI从病理图像中去“看”,哪些问题仍需分子技术去“测”。 本文章转载自微信公众号:AI病理视界
-
Nature Biomedical Engineering发表观点文章,提出REAL-FM框架,用数据、技术就绪度、临床价值、工作流整合和负责任AI五个维度,重新审视生物医学影像基础模型走向临床需要哪些证据。原文讨论的范围不限于病理,但它点中了病理AI眼下最突出的矛盾。基础模型发展很快,分类、检索、分子预测和图文交互等能力不断增加,临床验证却远远没有跟上。模型越通用,越要说清具体任务的适用人群、使用场景和风险边界。这篇文章也让我们重新回看一年多前的判断。病理AI更可能形成一种分工明确的系统。基础模型提供通用表征,垂直模型承担具体临床任务,智能体负责调度工具和整合证据,病理医生保留复核与最终决定权。 一、基础模型越来越强,评价问题也该变了过去几年,病理基础模型沿着一条清晰的路线扩张。训练切片更多,参数规模更大,迁移任务也越来越丰富。从UNI、CONCH到Virchow、TITAN、MUSK和PRISM2,研究者已经用它们处理分类、图像检索、分子状态预测和预后建模,一些模型还可以根据切片生成描述并回答问题。这些进展证明,大规模预训练能够学到可复用的病理表征。它让新任务不必每次都从头训练图像编码器,也降低了少样本任务和多模态研究的起点。临床应用还要多走几步。一个模型可以在十几个公开数据集上得到不错的指标,却未必适用于某家医院的扫描设备、染色流程和病例构成。它可以预测一个分子标志物,也未必能在真实患病率下帮助医生作出治疗决定。模型能完成任务,只说明能力已经出现。医疗机构还需要知道它适合谁,在什么环节使用,以及错误发生后会造成什么后果。文章把生物医学影像AI的发展分成三个时期。2017至2021年是能力快速扩张的热潮期,2022至2025年进入现实检验期,泛化、偏倚、隐私、幻觉和验证不足的问题逐渐暴露。作者认为,2026年以后可能进入混合与协作阶段,专科适配、人机协作和严格验证会占据更重要的位置。病理AI尤其需要这场评价转向。论文以2026年1月8日为统计截止日。在美国食品药品监督管理局已经授权的1357项AI医疗设备中,病理相关产品只有8项,占0.6%。放射学相关产品有1039项,占76.7%。这个差距不能用模型性能简单解释。病理基础模型的论文越来越多,能够迁移的任务也越来越广,进入监管和临床使用的产品依然很少。模型能力增长得快,临床证据积累得慢,二者已经拉开了明显距离。因此,基础模型和临床模型需要分开理解。基础模型提供可复用的能力,临床模型围绕明确用途建立完整系统。后者要明确目标人群和标本类型,还要设定决策阈值、失败处理方式,并在真实流程中接受验证。 二、REAL-FM把评价范围从模型扩大到临床系统REAL-FM包含五个维度和17项标准。它没有停在准确率或受试者工作特征曲线下面积,而是继续检查模型赖以成立的数据、进入临床前的技术准备、对诊疗的实际帮助,以及部署后的治理责任。第一组问题落在数据上。研究使用了多少张全切片图像,只是起点。切片来自哪些中心和年份,使用过哪些扫描仪,染色与组织处理流程是否一致,病例是否覆盖不同疾病阶段和组织学亚型,这些都会影响模型能否迁移。标签由谁提供,是否经过复核,病理医生之间的一致性如何,也属于证据的一部分。第二组问题关注技术就绪度。跨中心和跨时间验证能够检验模型在新环境中的表现,概率校准和不确定性分析则告诉医生怎样理解一个预测分数。病理研究还要特别检查患者层面的数据泄漏、预训练数据与测试集重叠,以及扫描倍率和染色质量改变带来的分布偏移。第三组问题是临床价值。容易建模的终点未必值得进入诊疗流程。研究者需要说明模型用于排阴、病灶检出还是辅助分级。如果结果会影响预后分层或治疗选择,证据要求还要相应提高。最终要看的,是模型有没有改善医生效率、诊断一致性或患者管理。第四组问题涉及工作流。一个模型若要求医生另开研究界面、重新上传切片,再手工对照结果,使用成本很快就会抵消算法收益。可用的病理AI应当进入数字阅片系统,以候选区域、热图或结构化结果等形式呈现,并允许医生查看依据和修改输出。最后一组问题是负责任AI。模型需要提供不确定性提示和适当的拒答机制,系统还要记录日志、管理版本并监测数据漂移。出现异常后,医院应当能够追溯模型当时使用了什么输入和版本。生成式模型还需要单独评估幻觉的发生频率及其临床后果。界面上的一句“仅供参考”承担不了这些工作。作者用REAL-FM评价了CONCH、MUSK和TITAN等代表性病理基础模型。它们在数据规模、基准测试和部分外部泛化方面已经表现出较强能力,概率校准、真实医生使用、系统互操作和隐私保护等方面的证据则明显不足。这里揭示的共同问题比模型之间的名次更重要。当前病理基础模型最充分的证据,多半来自论文容易展示的技术指标。临床部署关心的可用性、安全性和责任划分,仍有大片空白。 三、大模型和小模型的差别在职责“大模型打底,小模型落地”说的是系统分工,参数量并非判断标准。一个参数规模很大的器官专科模型,仍然可能只服务于少数临床任务。一个规模较小但经过多任务预训练的模型,也可以提供基础表征。基础模型的优势在于复用。它可以提取通用图像特征,支持切片级表征、图像与文本联合建模和开放词汇检索,也能把已经学到的知识迁移到新任务。研究者借助这一层能力,可以用更少的标注和更短的训练过程开发垂直模型。垂直模型承担的是边界清楚的临床用途。宫颈细胞学排阴、前列腺癌分级、肺癌新辅助治疗后残余肿瘤评估和淋巴结转移检测,面对的输入和容错要求差异很大。用于治疗疗效预测的模型还会影响后续决策,需要更严格的校准与验证。病理诊断本来就依赖器官背景、取材方式和治疗历史。更大的模型可以改善表征能力,却不会消除这些差异。罕见病、治疗后改变和少见形态也不会因为预训练数据增加就自然得到解决。大规模数据通常先让模型学好常见且稳定的模式,长尾病例仍容易被不均衡的数据掩盖。垂直模型因而会继续存在,只是它们不必再从零开始。基础模型降低开发门槛,垂直模型规定输入、输出和适用人群,并把可以接受的错误范围写清楚。前者抬高技术起点,后者把能力约束在能够验证的临床问题里。 四、智能体适合组织病理诊断流程这篇观点文章认为,医学AI更可能形成一个由专科系统协作的平台。共享的基础模型负责整合信息和支持任务调度,专科模块分别处理影像、病理、临床数据和医学知识。系统随后整合证据、处理冲突并评估不确定性,医生保留最终决定权。这种安排很适合病理,因为病理诊断本身就是一条可以拆开的工作流。全切片图像进入系统后,先要完成质量控制和组织识别。系统再根据器官、标本类型与临床问题,调用区域分割、细胞检测或组织学分级工具。遇到复杂病例时,还可能需要免疫组化定量、分子状态预测,并结合既往病理和诊疗指南形成复核建议。这些环节使用不同的数据和模型,错误类型也各不相同。若把整条流程压进一个端到端模型,多个原本可以分别验证的问题会被包进同一个输出。平均指标即使很好,出错时也很难判断问题来自图像表征、任务理解还是知识调用。智能体可以把这些步骤重新组织起来。它识别当前临床问题,选择合适的专科垂直模型,读取结构化结果并检查证据冲突。无法确定时,系统可以补充调用其他工具或交给医生复核,同时记录每一步使用的模型、版本和输入证据。在这种系统里,基础模型、垂直模型和智能体承担不同责任。基础模型提供跨任务表征,垂直模型输出经过验证的专科结果,智能体安排调用顺序并整理信息。阅片界面、人工复核和日志系统负责把这些能力接入医院工作流。分层以后,每个环节都可以单独检查和替换。某个细胞检测模型在本地性能下降,医院可以更新该模块。染色条件改变,可以重新校准受影响的垂直模型。智能体调用工具出错,日志能够帮助定位原因。这种可拆分性对临床系统很重要,因为模型更新和医院环境变化都会持续发生。 五、模型开发加快以后,临床证据成为瓶颈基础模型、参数高效微调和标准化多实例学习框架,让新模型的开发速度明显提高。研究者可以快速更换编码器和聚合方式,再把同一批特征用于多个预测终点。一个平台由此能够持续生成候选模型。临床验证没有相同的规模效应。一个乳腺癌分类模型完成外部验证,不能替同一基础模型衍生出的肺癌疗效预测模型提供临床可信度。切片编码器在多个公开数据集上表现稳定,也不能代替垂直模型在本地人群和真实患病率下的验证。模型越容易开发,未经充分验证的候选工具就越容易积累。平台里可能存放着许多技术上可以运行的模型,其中只有少数完成了多中心验证、医生对照研究或前瞻性评估。维护、版本管理和监测的压力却会随着模型数量一起增加。这会形成一笔持续累积的临床验证欠账。基础模型的能力可以复用,每项临床用途仍要建立与自身风险相匹配的证据。如果没有清楚的优先级,模型数量增长很快,医院能够安全使用的能力却增加有限。病理AI接下来更缺高质量外部队列、真实部署环境和病理医生时间。前瞻性研究和能够持续积累证据的工作流也会变得更加重要。算力仍然重要,但它解决不了这些环节。 六、模型验证和临床验证回答不同的问题当前许多病理AI论文所说的验证,主要是模型验证。研究者在内部测试集或外部回顾性队列上计算曲线下面积、敏感性和特异性,用来判断模型能否区分类别以及能否迁移到新数据。临床验证还要观察医生使用模型后发生了什么。真实患病率会不会改变阳性预测值,模型提示是否造成自动化偏倚,敏感性提高后要增加多少复核工作,错误能否被医生及时识别,这些都会影响工具是否值得部署。最终结果可能落在诊断时间、报告质量或治疗决策上,高风险任务还需要继续观察患者结局。这类证据适合逐步积累。开发之初先写清预期用途,包括目标人群、标本类型、临床位置和风险水平。用于排阴的工具与直接影响治疗选择的模型,需要不同的性能目标和失败处理方式。下一步可以使用锁定的时间独立队列和多中心外部队列检验泛化,同时报告概率校准、亚组表现和具体失败模式。平均指标无法告诉医生模型在哪类患者身上容易出错,这些分层结果更接近实际使用。医生参与的阅片研究随后检验人机组合。比较的重点应放在医生使用AI前后的效率和诊断质量,而不必把研究写成模型与医生之间的比赛。正式影响临床决策前,还可以进行静默部署。模型在医院后台处理真实数据,结果暂时不展示给医生。研究者借此观察本地性能、推理延迟和异常输入,也能发现数据缺失与时间漂移。这类研究可能没有新的模型结构,却能暴露公开测试集看不到的问题。直接影响诊断、治疗选择或患者管理的高风险任务,还需要前瞻性临床研究。组织分割、细胞计数等风险较低的工具未必都需要随机对照试验,但仍要证明准确性、重复性和可用性,并确认它们能够顺利进入现有流程。REAL-FM的价值就在这里。它要求研究者把数据、技术表现和临床用途放在一起考察,工作流与治理证据也不能缺席。单个高指标只能回答模型的一部分问题。 七、流畅的解释仍然需要回到切片核查视觉语言模型可以描述切片、回答问题,也能生成鉴别诊断和逐步分析。这些输出读起来很像病理报告,但语言连贯不能证明模型正确使用了病理证据。这篇观点文章里把基础模型的推理分为顺序推理、空间推理和显式符号推理。对病理AI来说,一段解释至少要能够回答模型说了什么,以及相关证据位于切片哪里。诊断规则怎样连接形态证据与最终判断,也需要清楚展示。如果模型生成了一段专业描述,却无法把描述对应到具体区域、细胞或组织结构,医生就很难核查它的推断。更长的推理过程也未必更可靠。论文引用的研究提示,过长的推理链可能放大最初的错误假设,让模型忽略后续冲突证据,并为错误答案补出一套完整说明。病理系统因此仍需要可验证的中间结果。结构化的细胞检测结果、经过校准的区域分类概率和可以回到原图检查的热图,通常比无法定位证据的长篇解释更容易审阅。生成式模型可以负责组织信息,关键判断仍要保留证据位置和复核入口。 八、病理AI下一阶段比拼的是系统和证据基础模型会继续成为病理AI的重要技术起点。它能降低特征提取和新任务训练的成本,减少对大规模精细标注的依赖,也让图像、文本、分子和临床数据进入较为统一的表征空间。这类共性能力适合放在系统底层。具体临床终点则交给经过专科训练、校准和验证的垂直模型。智能体在上层组织调用,帮助医生查看证据和处理冲突。系统外围还需要版本管理、日志记录和持续监测,保证医院知道模型何时发生变化。论文建议采用渐进路线。基础模型先在单一模态和器官领域内成熟,再扩展到同一器官的多模态任务,随后进入更复杂的综合决策。对病理AI来说,这条路比追求一个包办所有器官和任务的模型更容易验证,也更容易划分责任。一年多前,我们把病理智能体看作一种值得关注的技术路线。现在更明确的一点是,智能体能否进入临床,取决于它怎样调用经过验证的工具,并把每一步证据留给医生检查。模型训练正在变得更快。困难的工作逐渐转向另一边。谁能把基础模型、垂直模型和智能体组织成可审计的工作流,谁能持续完成多中心验证、静默部署和前瞻性研究,谁才更有机会把模型能力变成临床可用的工具。大模型抬高能力上限,垂直模型守住具体任务的边界。临床证据决定这些能力最后能走到哪里。 本文章转载自微信公众号:AI病理视界
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签