Page 213 - 《软件学报》2021年第5期

宋杰 等:基于深度学习的数字病理图像分割综述与展望 1437

Table 2 Overview of existing models using representative deep networks for detection, segmentation,
and classification in pathology images (Continued)
表 2 现有适用于病理图像检测、分割及分类任务等代表性深度网络模型概述(续)
相关文献 任务 染色方法或成像模式 方法
Li 等人 [94] HEp-2 样本图像分类 免疫荧光 全卷积残差网络
Li 等人 [95] 三维神经元重构 电子显微镜 三维全卷积网络
Zeng 等人 [96] 三维神经突分割 电子显微镜 将 Inception-残差模块引入深度 CNN 框架
Khoshdeli 等人 [97] 三维细胞核分割 共聚焦显微镜 多层编码器-解码器网络模型
Saha 等人 [98] 细胞膜和细胞核分割及分类 IHC、HER2 单抗 将梯形 LSTM 引入编码器-解码器模型
Senaras 等人 [99] 病理图像生成 IHC,Ki-67 条件 GAN 网络模型
Januszewski 等人 [100] 神经突追踪与重构 电子显微镜 泛洪网络
Graham 等人 [101] 细胞核实例分割 H&E 染质感知的 FCN 网络模型
Yan 等人 [46] 视网膜血管分割 检眼镜 联合逐像素和逐段损失优化的编码器-解码器
Mahmood 等人 [102] 细胞核分割 H&E 对抗回归网络框架
Yan 等人 [103] 视网膜血管分割 检眼镜 三阶段 FCN 网络模型
Xue 等人 [104] 细胞检测 H&E、IHC 结合 CNN 及压缩感知的端到端模型
Jin 等人 [105] 视网膜血管分割 检眼镜 将可变形卷积引入 U-Net 框架
Chakravarty 等人 [106] 细胞核分割、视盘、杯分割 H&E、检眼镜 水平集驱动的 RNN 网络模型
Wollmann 等人 [107] 细胞分割 荧光显微镜 结合 GRU 及稠密模块的分割模型
Yi 等人 [108] 神经细胞实例分割 视频显微镜 将注意力机制引入 FCN 框架
Naylor 等人 [109] 细胞核分割 H&E 深度距离图回归网络模型
Payer 等人 [110] 细胞实例分割及跟踪 H&E、视频显微镜 循环栈式沙漏网络模型
Shin 等人 [111] 微血管分割 血管造影、检眼镜 结合 CNN 及图神经网络模型
Qu 等人 [112] 细胞核和腺实例分割 H&E 将方差约束的交叉熵损失引入全分辨率卷积网
Xie 等人 [113] 腺实例分割 H&E 结合 SegNet 及校正网络模型
Luna 等人 [114] 粘连重叠细胞核分离 H&E 孪生神经网络
Koohbanani 等人 [115] 细胞核实例分割 H&E 空间感知深度网络模型
Mou 等人 [116] 管状结构分割 光学相干层析成像 通道与空间注意力网络模型
Fang 等人 [117] 血管中轴线提取 血管造影 结合 CNN 及拓扑优化算法模型
Kumar 等人 [40,41] 细胞核分割 H&E 基于 CNN 的三分类模型
Hashimoto 等人 [118] 癌症亚型分类 H&E 多尺度域对抗实例深度学习框架
Hayashida 等人 [119] 细胞跟踪 相位差显微镜 基于 CNN 的运动和位置图联合表示学习
Liu 等人 [120] 细胞核实例分割 H&E、荧光显微镜 循环一致性全景域自适应 Mask R-CNN 模型
Pandey [121] 细胞核分割 荧光显微镜 两阶段 GAN 网络模型
Yan 等人 [122] 腺实例分割 H&E 形状感知的对抗学习框架
Zhao 等人 [123] 淋巴结转移检测 H&E 结合变分自编码器、GAN 及图卷积网络模型
实例分割是一个挑战性问题,需要考虑在实现语义分割的同时保留实例空间几何信息,以对相同类别不同
实例进行区分.大多数已有的实例分割学习算法局限于候选区域(region-proposal)网络的训练与测试,例如 Mask
R-CNN [124] ,或特定编码器—解码器结构,例如 U-Net [57] .虽然后者通过融入上下文信息能较好地避免病理图像
复杂背景杂斑的干扰,但由于网络架构的影响,使其仍然对染质稀疏的目标内细节不够敏感.
目前,基于深度学习的病理图像实例分割研究主要集中在以下几种途径:(1) 改进网络结构以获取更多有
意义的上下文信息,例如信息聚合网络模型 [125] ;(2) 将辅助输出层引入网络,由此建模实例轮廓及轮廓间交互关
系,例如深度轮廓感知网络模型 [91] ;(3) 将经典建模理论和深层特征表示学习机制进行有机结合,使得分割性能
得到更有效的提升 [126−129] .因此,本节将从深度学习的视角,总结和分析目前代表性病理图像分割方法体系.

4.1 基于CNN的病理图像检测与分割方法
针对不同类型的数字病理图像,研究者们通过构建 CNN 网络模型进行逐层训练和预测,可输出一个概率
图,其中,每个像素值表示该像素是种子的概率;然后,根据生成的概率图寻找局部最大值,从而实现组织基元的
准确定位.目前,基于 CNN 分类,研究者提出了许多病理图像目标检测方法,其中,应用领域包括肾细胞癌 [34] 、肺
癌 [130] 、乳腺癌 [77,80] 、结肠直肠癌 [131] 等.然而,一方面,基于 CNN 分类的方法为了对一个像素分类,通常使用该
像素周围的一个图像块作为 CNN 的输入用于训练和预测,由于存储开销大且计算效率低下,从而导致检测的性
能受到限制;另一方面,为解决错误分类问题,CNN 也尝试采用回归策略将空间拓扑引入网络模型 [79,86,104] 以赋