Page 470 - 《软件学报》2025年第12期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2025,36(12):5851−5870 [doi: 10.13328/j.cnki.jos.007412] [CSTR: 32375.14.jos.007412] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
基于差异化特征提取的交叉半监督语义分割网络

陈亚当 1 , 李家戚 1 , 车 洵 2 , 吴恩华 3,4

1
(南京信息工程大学 计算机学院, 江苏 南京 210044)
2
(南京理工大学 计算机科学与工程学院, 江苏 南京 210094)
(基础软件与系统重点实验室 (中国科学院 软件研究所), 北京 100190)
3
4
(计算机科学国家重点实验室 (中国科学院 软件研究所), 北京 100190)
通信作者: 车洵, E-mail: chexun@njust.edu.cn
摘 要: 半监督语义分割方法通常采用不同数据增强方案来确保多分支网络输入信息的差异化, 以实现分支之间
相互监督. 虽然该方法取了一定成效, 但其存在以下问题: 1) 特征提取差异不足, 造成推理特征信息同化; 2) 监督信
号差异不足, 造成末端损失学习同化. 以上两个问题都会促使网络中不同分支收敛到相似的解决方案, 导致多分支
网络功能退化, 出现多个分支对错误保持相似置信度的问题, 错误引导网络分支收敛. 针对上述问题, 提出了一种
基于差异化特征提取的交叉半监督语义分割网络. 首先, 采用差异化特征提取策略, 通过让网络分支分别关注纹理、
语义和形状等不同信息, 从特征提取角度使特征提取信息始终存在差异性, 减少网络对数据增强的依赖; 其次, 提
出一种交叉融合伪标签方法, 使网络分支交替生成邻域像素融合伪标签, 以此增强网络末端监督信号的差异性, 最
终促使网络分支收敛向不同的解决方案. 实验结果证明, 方法在 Pascal VOC 2012 和 Cityscapes 验证集上分别达到
了 80.2% 和 76.8% 的优异性能, 领先于最新方法 0.3% 和 1.3%.
关键词: 计算机视觉; 语义分割; 半监督学习; 协同训练; 伪标签
中图法分类号: TP391

中文引用格式: 陈亚当, 李家戚, 车洵, 吴恩华. 基于差异化特征提取的交叉半监督语义分割网络. 软件学报, 2025, 36(12):
5851–5870. http://www.jos.org.cn/1000-9825/7412.htm
英文引用格式: Chen YD, Li JQ, Che X, Wu EH. Cross Semi-supervised Semantic Segmentation Network Based on Differential
Feature Extraction. Ruan Jian Xue Bao/Journal of Software, 2025, 36(12): 5851–5870 (in Chinese). http://www.jos.org.cn/1000-9825/
7412.htm

Cross Semi-supervised Semantic Segmentation Network Based on Differential Feature Extraction
1
1
2
CHEN Ya-Dang , LI Jia-Qi , CHE Xun , WU En-Hua 3,4
1
(School of Computer Science, Nanjing University of Information Science and Technology, Nanjing 210044, China)
2
(School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)
3
(Key Laboratory of Systems Software (Institute of Software, Chinese Academy of Sciences), Beijing 100190, China)
4
(State Key Laboratory of Computer Science (Institute of Software, Chinese Academy of Sciences), Beijing 100190, China)
Abstract: Semi-supervised semantic segmentation methods typically employ various data augmentation schemes to ensure differentiation in
the input of network branches, enabling mutual self-supervision. While successful, this approach faces several issues: 1) insufficient
diversity in feature extraction leads to feature signal assimilation during inference; 2) inadequate diversity in supervision signals results in
the assimilation of loss learning. These issues cause network branches to converge on similar solutions, degrading the functionality of
multi-branch networks. To address these issues, a cross semi-supervised semantic segmentation method based on differential feature
extraction is proposed. First, a differential feature extraction strategy is employed, ensuring that branches focus on distinct information,
such as texture, semantics, and shapes, thus reducing reliance on data augmentation. Second, a cross-fusion pseudo-labeling method is

* 基金项目: 国家自然科学基金 (62473201, 62477026, 62332015, 62072449); 无锡市产业创新研究院先导技术预研项目
收稿时间: 2024-10-23; 修改时间: 2024-12-09, 2025-01-11; 采用时间: 2025-02-11; jos 在线出版时间: 2025-08-27
CNKI 网络首发时间: 2025-09-08