Page 474 - 《软件学报》2025年第12期

陈亚当 等: 基于差异化特征提取的交叉半监督语义分割网络 5855

多分支网络通过两个不共享权重的 ResNet 网络提取基础特征映射, 在标签训练过程中细节纹理分支 f t 与语
义上下文分支 f s 的预测由真实标签直接监督训练, 边缘形状分支 f e 则由真实标签生成的边缘检测图进行监督, 无
标签训练过程与标签训练不同的是, 细节纹理分支 f t 与语义上下文分支 f s 融合生成对方的监督信号进行训练, 边
缘形状分支 f e 则由 f t 和 f s 融合生成的边缘检测结果作为监督信号. 图中灰色特征层表示与后续特征提取无关的内
容. 本文方法框架包括差异化特征提取 (第 2.1 节) 和交叉融合伪标签 (第 2.2 节) 两个部分. 在 2.3 节将结合算法 1
详细介绍本文方法的总体训练迭代流程和损失计算过程.
2.1 差异化特征提取
本文采用多分支网络架构、差异化特征提取分别聚焦于细节纹理信息、语义上下文信息和边缘形状信息, 从
不同的特征信息角度优化分割任务. 这 3 个差异化特征提取分支分别标记为细节纹理分支 f t 、语义上下文分支 f s 、
边缘形状分支 f e .
细节纹理分支和语义上下文分支提取的特征信息具有差异性, 这是因为在神经网络信息分布中, 细节纹理信
息和语义上下文信息分别集中在神经网络的浅层和深层特征中. 这种特征信息的层次分布引导了细节纹理分支 f t
和语义上下文分支 f s 进行不同的特征提取, 确保了它们在提取过程中各自关注的信息得以充分表达.
尽管细节纹理分支 f t 和语义上下文分支 f s 分别提取了不同的特征信息, 但 f t 和 f s 各自应用在语义分割任务中
效果并不理想 [45] . 细节纹理分支 f t 虽然提取了大量细节和空间位置信息, 但缺乏高层次语义抽象能力, 难以准确分
割, 易产生过拟合现象. 为解决这一问题, 本文提出了差异筛选模块 (第 2.1.1 节), 有选择性地从语义上下文分支 f s
中获取部分高级抽象信息, 既融合了高级语义信息, 又避免了全盘接收语义信息导致的分支同化.
语义上下文分支 f s 提取的深层特征信息虽然具备高级别的抽象和语义信息, 但丢失了过多的细节, 导致分割
边缘不够精细. 为解决这一缺陷, 本文提出了边界调和模块 (第 2.1.2 节), 在边界区域使用细节纹理信息进行填充.
这一策略不仅改善了高倍率下采样的深层特征提取导致的边界分割效果不佳的问题, 还保留了主体区域的高级语
义信息, 确保与细节纹理分支 f t 提取的特征信息保持差异化.
在边界调和模块中, 本文提出在边界区域上使用纹理信息对语义上下文的特征信息进行填充, 因此在多分支
网络中引入边缘形状分支. 通过优化任务引导, 使得监督信号仅包含图像的边缘区域, 不包含细节等其他分割
信息 [46] . 这样, 边缘形状分支可以专注于提取边界信息, 忽略其他细节, 确保边界信息的准确性, 同时保持与其他
分支特征的差异性.
神经网络在处理边界信息时, 卷积操作的平滑效应会导致边界信息不够精确, 特别是在细微和复杂的边界区
域. 为了解决这一问题, 本文提出了细节引导模块 (第 2.1.3 节), 该模块在边界空间注意力的引导下, 有选择地整合
细节纹理分支的信息, 生成更具代表性的边界特征, 从而显著提升边界特征提取的准确性和鲁棒性. 该模块通过关
注局部细节, 使得边界特征在处理复杂背景时也能保持较高的辨识度.
2.1.1 差异筛选模块
神经网络的浅层特征保留了更多的细节信息, 因此, 细节纹理分支 f t 从 1/4 下采样的特征图中提取和解码细
节信息. 然而, 由于浅层特征缺乏高级语义表示, 直接使用低级特征进行解码和分类容易导致过拟合现象.
为解决这一问题, 如图 3 所示, 本方法将语义上下文分支 f s 作为细节纹理分支 f t 的语义信息补充, 利用基于余
弦相似度的融合算法, 使得细节纹理分支有选择性地获取语义信息, 既不会因为过于关注特定局部信息发生过拟
合, 也不会与语义上下文分支过于相似导致网络同化. 将特征映射中细节纹理分支和语义上下文分支对应像素的
− → − →
向量分别定义为 v t 和 , 那么该算法用公式可以表述为:
v s

− → − →
Out = σ· v t +(1−σ)· v s (1)
− → −→
0.5(v t · v s +1)
v s , 因为语义上下文分支提供
其中, σ = − → −→ ∈ [0,1] 表示这两个向量的相似度, 如果 σ 接近 1, 则更加信赖 − →
|v t ||v s |
− →
了更准确丰富的语义信息; 反之, 则更加信赖具有丰富解析能力的纹理分支向量 v t , 以保留更多细节信息.