Page 483 - 《软件学报》2025年第12期

5864 软件学报 2025 年第 36 卷第 12 期

(e) ѓద๭ཞ, ޑ೤౵თູ໭ླٳ۩౵თ
图 8 来自于 Cityscapes 数据集的 1/4 有标签数据的分区协议下推理对比 (续)

3.4 消融实验
在本节中, 将分析基于差异化特征提取的交叉半监督语义分割网络中不同设计模块的有效性以及多分支网络
的性能变化 [54,55] . 本文选用基于 ResNet-101 作为 BackBone 的网络架构, 在 Classic Pascal VOC 2012 数据集上进
行所有的消融实验, 分区协议均为 1/4 含标签数据.
3.4.1 成分的有效性
本文探究了差异化特征提取策略以及交叉融合伪标签方法对模型性能的影响, 分析结果展示在表 5 中. “纹理”
指的是差异筛选模块, “边缘” 指的是细节引导模块, 而“上下文”指的是边界调和模块. 红色最优, 蓝色次之. 此外,
在表 6 本文还探索了交叉融合伪标签采用不同融合策略以及邻域范围对网络性能的影响.

表 5 差异化特征提取方法在 ResNet-101 上的消融实验结果 (%)

差异化特征提取
交叉伪标签 mIoU
纹理 边缘 上下文
√ √ √
－ 78.1
√ √ √
－ 77.8
√ √ √
－ 76.1
√
－ － － 75.7
√ √ √
－ 77.4
√ √ √ √
78.6

表 6 交叉融合伪标签邻域像素融合策略和邻域范围的消融实验 (%)

邻域范围
融合策略
None 3×3 5×5 7×7
联合概率修正 78.6 78.3 77.5
余弦相似度 77.4 77.8 77.4 76.7
欧氏距离 77.6 76.9 76.2

在表 5 的成分消融中, 不采用差异筛选模块指的是使用特征相加来融合其他分支信息, 其他模块同理, 不使用
交叉伪标签则是采用传统一致正则化方法. 从结果中可以看出, 模型性能在失去了差异化特征提取的任意分支模
块后均有不同程度的降低. 在语义上下文分支中的边界调和模块最为显著, 性能降低了 2.5%. 在失去了完整差异
化特征提取策略后, 纹理分支和语义上下文分支完全一致, 导致性能降低 2.9%. 交叉伪标签保障了分支监督信号
的准确性和差异性, 对比一致性方法提升了 1.2%.
如表 6 所示, 本文测试了不同邻域像素融合策略和邻域范围大小的性能变化, “余弦相似度”融合策略采用邻
域内和给定像素余弦相似度最高的邻域像素进行平均融合. “欧氏距离”融合策略将邻域内和给定像素欧氏距离最
近的邻域像素进行平均融合. “None”表示不采用像素融合策略, 仅依靠不同网络分支一致性损失来训练无标签图
像. 从结果中可以看出, 当选择邻域范围为 3×3 的“联合概率修正策略”时, 模型表现出最佳性能. 而融合过多邻域
信息的 5×5 和 7×7 反而导致模型性能下降. 其原因在于, 较大的领域范围引入了更多的特征信息, 增加了出现非中
心像素点类别信息的可能性, 从而影响置信度的融合效果.
3.4.2 方法有效性
如图 9 所示, 细节纹理分支和语义上下文分支保持近似的分割性能, 纹理分支在 mIoU 表现上稍逊于语义上