Page 478 - 《软件学报》2025年第12期

陈亚当 等: 基于差异化特征提取的交叉半监督语义分割网络 5859

错误预测产生的确认偏差.
考虑到边缘形状分支 f e 需要特殊的伪标签, 本文采用对两个 f t 和 f s 生成的伪标签像素置信度更高的像素合成
边缘伪标签的前置伪标签, 即:

− → − → − →
v e,(i,j) ) = max( v t,(i,j) , v s,(i,j) ) (11)
通过对前置伪标签应用边缘检测算法 [46] 提取边缘信息, 从而获得最终的边缘伪标签, 表示为:

W ∑ H ∑
− →
u
ˆ y = E ( v e,(i,j) ) (12)
e
j=0 i=0
其中, E 表示边缘伪标签检测算法.
2.3 总体损失与算法描述
α i ∈ {t, s,e} 表示细节纹理、语义上下
经过解码的分支特征预测记为 ˜ y , 其中 α ∈ {l,u} 标签图像和无标签图像,
i
文和边缘形状分支.
如图 2 所示, 在无标签图像训练中, 纹理分支和语义上下文分支之间交叉监督, 因此细节纹理分支预测 ˜ y 由
u
t
u
ˆ y 进行监督. 因此细节纹理分支的交叉熵损失被表述为:
语义分支预测生成的伪标签 s

1 ∑ N 1 ∑ W×H
L u,t = ℓ ce (˜y u mn,t , ˆy u mn,s ) (13)
N m=1 W × H n=0
其中, ˜ y u 表示细节纹理分支对第 m 张图像的第 n 个像素的预测值, 而 ˆ y u 表示语义分支生成的交叉融合伪标签
mn,t mn,s
的置信度, 同样针对第 m 张图像的第 n 个像素.
u
u ˆ y 的监
同样的, 语义上下文分支的损失被表示为 L u,s , 边缘形状分支预测 ˜ y 受到其他分支边缘提取的伪标签 e
e
督, 相应的损失表述为 L u,e . 因此, 无监督损失可以被表述为:

(14)
L u = λ t L u,t +λ s L u,s +λ e L u,e
λ t 、 、 λ e 设置为 0.6, 1.8, 10.
根据实验效果变化, 分别将 λ s
如图 2 所示, 标签图像与无标签图像在损失计算的差别仅在与标签图像使用真实标签 y 作为监督信号训练网
l
i
络. 因此监督损失记为:

(15)
L l = λ t L l,t +λ s L l,s +λ e L l,e
λ t 、 、 λ e 设置为 0.6, 1.8, 20.
根据实验效果变化, 分别将 λ s
综上, 训练阶段损失被分为监督损失 L l 和无监督损失 L u , 总损失计算如下所示:

(16)
L = λ u L u +λ l L l
其中, λ u 、 λ l 是无监督损失和监督损失的平衡参数.
总体训练流程如算法 1 所示, 每次迭代均会对标签图像和无标签图像进行训练, 无标签图像训练并不额外生
成伪标签加入标签数据中进行训练, 仅使用其他分支预测生成的融合伪标签作为每一次迭代的监督信号. 本文计
算监督损失和无监督损失作为总训练损失来更新模型参数.
算法 1. 半监督语义分割总体训练算法.
(X l ,Y l ) ∈ D l , 无标签图像数据集 X u ∈ D u , 最大训练轮次 max_epochs;
输入: 标签图像数据集
输出: 训练好的语义分割模型.
1. 初始化语义分割模型参数
2. epochs ← 0
3. WHILE epochs < max_epochs DO
4. FOR (X l , Y l , X u ) in zip(D l , D u ) DO
5. 使用 (X l , Y l ) 训练语义分割模型, 计算监督损失 L l
6. 使用 X u 训练语义分割模型, 计算无监督损失 L u