Page 284 - 《软件学报》2025年第9期

陈建炜 等: 基于掩码信息熵迁移的场景文本检测知识蒸馏 4195

MaskET 方法中 τ = 1, 其原因从第 5.4.2 节中探究温度超参数的实验结果中分析而来.

训练学生网络的最终损失函数 L 包含文本检测损失 L det 、信息熵迁移损失 L et 和逐像素点分类损失 L pi :

(7)
L = L det +λ 1 L et +λ 2 L pi
其中, λ 1 是 L et 权重参数, 设置为 6, λ 2 是 L pi 权重参数, 固定为 10. 参数值的设置由第 5.4.3 节中探究损失权重的实
验得来.

3.5 训练方法
如算法 1 所示, MaskET 方法是两阶段训练方法. 第 1 阶段训练教师网络, 利用给定的数据集, 最小化检测损
L det , 目的是获得精度较高的大网络. 在阶段 2 训练学生网络的过程中, 固定教师网络参数, 在教师网络的掩码信
失
息熵和逐像素点概率值, 以及标签的监督下训练一个以轻量级卷积神经网络为主干的学生网络.
算法 1. MaskET 训练算法.

D train ; 教师网络 ; 学生网络 ;
输入: 训练数据集 θ T θ S
∗
输出: 学生网络的最优参数 θ .
S
阶段 1: 训练教师网络
初始化教师网络参数
FOR epoch = 1 TO epochs DO //训练 1 200 轮
FOREACH minibatch IN D train DO
教师网络前向传播;
L det ;
计算检测损失
使用 ∇ θ T L det 更新 ;
θ T
END
END
阶段 2: 训练学生网络
固定教师网络参数;
初始化学生网络参数
FOR epoch = 1 TO epochs DO //训练 1 200 轮
FOREACH minibatch IN D train DO
教师网络前向传播;
学生网络前向传播;

计算学生网络和教师网络的信息熵 E T 和 E S ;
P (h,w,i) P (h,w,i) ;
生成教师、学生网络的软目标 T 和 S
计算学生网络的总训练损失 L;
使用 ∇ θ S L 更新 ;
θ S
END
END

4 实 验

4.1 数据集与评价指标

4.1.1 数据集
本文实验中使用了 6 个标准自然场景文本检测数据集.