Page 484 - 《软件学报》2025年第12期

陈亚当 等: 基于差异化特征提取的交叉半监督语义分割网络 5865

下文分支. 同时, 本文仅对置信度高于伪标签阈值的像素进行传播 [18,56−60] , 这并不会在损失传播阶段过度干扰语义
上下文分支的训练, 证明了本文方法多分支网络相互监督能力的有效性.

0.825 0.925
0.800 0.920
0.775 0.915
0.750 0.910
mIoU 0.725 mIoU 0.905
0.700
0.900
0.675
0.895
0.650
0.890
0.625
0.885
0 10 20 30 40 50 60 70 80 0 10 20 30 40 50 60 70 80
epochs epochs
(a) person (b) vegetation
0.625 0.675
0.600 0.650
0.575
0.625
0.550
0.600
mIoU 0.525 mIoU 0.575
0.500
0.550
0.475
0.525
0.450
0.425 0.500
0.400 0.475
0 10 20 30 40 50 60 70 80 0 10 20 30 40 50 60 70 80
epochs epochs
(c) fence (d) terrain
线条为细节纹理分支 线条为语义上下文分支
图 9 Cityscapes 数据集中的 4 个类别的 mIoU 变化曲线
3.5 缺陷与分析
尽管本文方法在不同基准数据集上的性能均优于现有方法, 但仍有两方面需要进一步优化: (1) 虽然推理阶段
仅使用语义上下文分支进行预测, 但在训练阶段, 差异化特征提取过程中涉及的边缘监督、信号合成以及邻近融
合伪标签的计算耗费了更多的时间. (2) 如图 9 所示, 纹理分支的性能在大多数情况下略低于语义上下文分支. 图 10
中展示了分支分割性能差异更加明显的可视化分割效果, 细节纹理分支的分割效果相对较差, 尤其在语义信息相
似的细粒度分类中表现较为不足. 图 10 第 1 行为语义上下文分支, 第 3 行为细节纹理分支, 第 2 行为细节纹理分
支和语义上下文分支的局部放大图. 尽管本文采用了伪标签阈值来过滤低置信度的伪标签, 但仍有可能出现高置
信度的错误伪标签干扰语义上下文分支的收敛. 伪标签阈值筛选的局限在于, 即便是正确预测的低置信度伪标签,
也可能因为低于阈值而被过滤掉. 虽然阈值筛选有效避免了错误标签的传播, 但未充分训练低阈值伪标签对应的
像素, 这会在一定程度上影响网络的收敛速度. 此外, 本工作在 1/16 标签比例的 Classic Pascal VOC 2012 数据集
上, 相较于 UniMatch 方法的性能落后了 2.6%, 这表明在标签数据极少的情况下, 本方法仍存在进一步优化的空间.
如何在监督信息极为有限的条件下有效避免错误信息的干扰, 将是本工作未来研究的一个重要方向. 总体而言, 未
来的研究方向将聚焦于如何进一步优化网络训练时间, 并平衡多分支网络的性能表现, 并优化极少标签下的性能
表现.