Page 205 - 《软件学报》2021年第5期

宋杰 等:基于深度学习的数字病理图像分割综述与展望 1429

本文正是在此背景下,围绕多个器官和疾病状态的组织基元深度学习图像分割问题,通过对相关领域有代
表性或前沿性文献的归纳总结,系统概述目前代表性深度学习方法,包括卷积神经网络、全卷积网络、编码器-
解码器模型、循环神经网络、生成对抗网络等方法体系,总结深度学习在组织基元检测和实例分割等任务中的
建模机理和应用,并梳理了现有方法的方法理论、关键技术、优缺点和性能分析.最后,本文讨论了未来数字病
理图像分割深度学习建模的开放性挑战和新趋势.

1 数字病理相关学科背景

病理学是研究疾病病因、发病机制、形态结构改变以及由此而引起的功能变化的一门基础医学与临床医
学之间的桥梁学科.近年来,由于生物学、微生物学、生物化学、免疫学和分子生物学等的迅猛发展,以及透射
电镜、扫描电镜、图像分析仪及流式细胞仪等的研制成功,病理诊断已经成为当今疾病诊断、治疗和预防的重
[1]
要途径和金标准,而病理切片的数字化被认为是病理学和病理诊断发展过程中的重要转折点 .
1.1 病理切片染色及成像模式
数字病理切片的制作首先需要组织染色.为了突出切片中特定的细胞核和腺体特征,限定并检查组织,通常
使用染色剂来增强组织成分间的对比度,主要包括苏木精-伊红(hematoxylin-eosin,简称 H&E)和免疫组织化学
(immuno histo chemical,简称 IHC),如图 2 所示.H&E 是最常用的染色方法,其中,苏木精为碱性染料,可使细胞核
内的染色质与胞质内的核酸着紫蓝色;而伊红为酸性染料,使细胞质和细胞外基质中的成分着粉红色.组织结构
对不同染料的结合程度不同,由此显示组织切片和细胞标本中的成分以及病变的一般形态结构特征 [31] .与 H&E
常规染色相比,IHC 染色利用抗原抗体的特异性结合反应来检测和定位组织和细胞中的某些化学物质,具有较
高的敏感性,可将形态学改变与功能代谢变化相结合,从而能够鉴别、诊断和治疗恶性肿瘤.

Fig.2 Examples of H&E and IHC staining for different types of digital pathology images
图 2 不同类型数字病理切片的 H&E 和 IHC 染色示例
一般而言,染色之后,可利用数字显微镜或放大系统在低倍物镜下对玻璃切片进行逐幅扫描采集成像.图像
压缩和存储软件将高分辨数字图像自动进行无缝拼接处理,制作生成整张全视野数字切片(多层图像,如图 3 所
示).病理学家和研究者通过对可视化数据进行任意比例放大或缩小以及任意方向移动和浏览,可实现高效病理
[5]
分析和评估,包括腺体形态、有丝分裂数目、细胞核外观、周围细胞质颜色以及实质与间质的比例等 .需要注
意的是:由于受显微镜设置、样品厚度、染色深浅和渗漏的影响,成像数据往往呈现不均匀照明.为了减少照明
差异,大多数的扫描装置利用标准软件包来归一化和校正光谱及空间照明差异.

Fig.3 Example of whole slide images from CAMELYON17 [32]
图 3 全视野数字切片示例,来源于 CAMELYON17 数据集 [32]