Nat. Methods | 统一多模态嵌入驱动的病理形态与分子特征解码

DRUGONE

跨模态整合病理形态与多层分子特征，对于深入理解疾病发生机制具有重要意义。然而，现有多模态学习方法在跨模态推断、整合能力以及可解释性与泛化能力之间往往难以兼顾。

针对这一问题，研究人员提出了Multi-Embed，一种统一且可解释的多模态学习框架，用于系统性解码多层级病理形态与多层分子特征。该方法通过构建共享嵌入空间，实现不同模态之间信息的协同表示与整合。在多个基准任务与应用场景中，Multi-Embed在形态–分子推断、组织结构识别以及时空轨迹建模等方面均表现出显著优势，覆盖12种癌症类型的数据分析结果表明，该方法能够有效促进对疾病发生机制的理解。

病理图像与多组学数据的联合分析，近年来显著推动了疾病机制研究和精准治疗的发展。通过整合不同模态信息，研究人员可以从组织形态到分子网络多个层面解析疾病过程。

然而，当前方法仍面临关键挑战。一方面，许多模型依赖监督学习框架，虽然能够完成端到端任务，但往往缺乏可解释性，使得模型难以揭示生物学机制。另一方面，无监督或自监督方法虽然在局部解释性方面有所提升，但通常依赖小规模空间转录组数据，导致泛化能力不足。

因此，如何构建一个既具备高可解释性，又能够适用于大规模临床数据的统一多模态框架，成为该领域的重要研究方向。研究人员提出，只有在统一嵌入空间中同时建模形态与分子信息，才能真正揭示两者之间的复杂关联。

方法

Multi-Embed的核心在于构建一个统一的多模态嵌入空间，在该空间中同时表达病理形态与分子特征。

在具体实现上，研究人员首先从全切片病理图像中提取多尺度形态特征，包括切片级、区域级以及细胞级信息，同时从对应样本中获取多层分子数据，如基因组、转录组、表观组及蛋白质组信息。随后，这些不同模态的数据分别通过编码网络映射到潜在空间。

在嵌入阶段，模型采用自监督对比学习策略，使来自同一样本的形态与分子表示在嵌入空间中靠近，而不同样本的表示则被拉远，从而学习跨模态关联。同时，通过重构机制保留各模态内部特征，使模型既能捕捉共享信息，又能保留差异信息。

最终，得到的统一嵌入表示被用于多种下游任务，包括跨模态推断、空间聚类以及预后分析等，实现从“形态到分子”的系统性解析。

图1：Multi-Embed框架与性能评估。

结果

跨模态分子表达预测能力

研究人员首先评估了模型根据病理形态预测基因表达的能力。在12种癌症类型的数据中，Multi-Embed在预测高变基因表达方面显著优于现有方法，在整体相关性指标上表现更高。

这一优势不仅体现在大规模患者数据中，也在空间转录组数据中得到验证。无论是在组织区域尺度还是单细胞尺度，模型均能够准确恢复基因表达模式，说明其能够有效捕捉形态与分子之间的内在联系。

多层分子特征推断能力

进一步分析表明，Multi-Embed不仅能够预测转录组信息，还能够从病理图像中推断DNA甲基化、蛋白表达以及基因突变状态。

在多个基准任务中，该模型在甲基化和蛋白预测方面均优于对比模型，在突变预测任务中同样表现出更高的准确性。这说明统一嵌入空间能够整合不同层级分子信息，实现更全面的跨模态推断。

跨模态整合与空间结构识别

在空间组学数据分析中，Multi-Embed能够更准确地识别组织结构，并在空间聚类任务中取得更高的一致性指标。

相比单模态方法，该模型能够同时利用形态与分子信息，从而在复杂组织中更清晰地区分不同功能区域。这种能力对于解析肿瘤微环境具有重要意义。

预后预测与生物标志物发现

在多癌种预后预测任务中，基于Multi-Embed的模型显著优于现有方法，能够更准确地区分高风险与低风险患者。

更重要的是，该方法能够识别具有解释性的联合影像–分子标志物。例如，在某些区域中，模型发现的高风险区域在传统方法中未被识别，但通过分子特征推断得到验证，表明该方法具有较强的生物学解释能力。

图2：预后分析与空间应用。

空间免疫结构识别与疾病演化分析

在三阴性乳腺癌数据中，Multi-Embed能够更准确识别三级淋巴结构，并发现此前未被标注的新区域，这些结果经过病理专家验证。

此外，通过在嵌入空间中构建轨迹，研究人员进一步解析了肿瘤从正常组织到恶性状态的空间演化过程。结果显示，组织区域沿着特定路径逐渐发生分子变化，这一过程与拷贝数变化及关键致癌基因表达高度相关，揭示了肿瘤发生的动态机制。

讨论

研究人员提出的Multi-Embed为多模态医学数据分析提供了一种统一解决方案，通过在共享嵌入空间中整合病理形态与多层分子信息，实现了跨模态推断与整合的系统性提升。

该方法的核心优势在于其良好的可解释性与泛化能力。通过自监督学习策略，模型能够在不同尺度和不同数据类型之间建立稳健关联，同时避免过度依赖特定数据集。

此外，该框架不仅能够从形态预测分子信息，还可以反向将分子特征映射回组织结构，从而发现新的病理标志物，为网络医学与精准医学提供新的研究工具。

然而，该方法仍依赖于高质量配对数据，在数据规模受限时可能影响性能。未来，通过引入更大规模多模态数据以及更强的预训练策略，有望进一步提升模型能力。

总体而言，Multi-Embed展示了一种“统一表示”的新范式，使得从组织形态到分子机制的系统性解析成为可能，为疾病研究与临床应用提供了重要支撑。

整理 | DrugOne团队

参考资料

Zhang, P., Gao, C., Hua, K. et al. Systematically decoding pathological morphologies and molecular profiles with unified multimodal embedding. Nat Methods (2026).

https://doi.org/10.1038/s41592-026-03070-5

内容为【DrugOne】公众号原创｜转载请注明来源