Page 173 - 《软件学报》2025年第7期
P. 173
3094 软件学报 2025 年第 36 卷第 7 期
u t−1 , 并根据公式 FD
和 (8) 计算得到特征蒸馏损失 L . 接下来通过生成器重放以往任务的特征 ˆ u t ′ , 并将其与特征 u t
F t
′
一起输入到分类器中进行训练, 其中, t 表示以往所有任务的任务编号. 接下来通过公式 (2) 计算分类器输出的预
y
测标签 ˆ y 和真实标签 之间的分类损失 L class 以及中心损失 L cent , 并根据分类损失、中心损失和特征蒸馏损失通过
反向传播调整参数, 进而完成整个识别网络的增量训练. 中心损失的计算方法为:
1 m ∑
2
L cent =
x i −c y i 2 (9)
2
i=1
其中, x i 为第 i 个图像, c y i 表示类别 y i 的深度特征中心.
真实标签 y 交叉熵损失 L class
z~N (0, I)
生成器 G t−1
u t ˆ′ 分类器 H t
ˆ y
u t
FD
特征提取器 F t
特征蒸馏损失 L F
任务 t 的训练数据 t
(经过 PerMIF 变换 冻结
的隐私保护图像)
u t−1 训练
特征提取器 F t−1
图 3 特征提取器和分类器的增量训练过程
在上一阶段完成特征提取器和分类器的训练之后, 使用当前任务训练好的特征提取器 F t 和分类器 H t 以及上
H t−1 一起训练转换网络 , 模型训练过程如图 4 所示. 转换网络用于在客户端对特征提取
一任务训练好的生成器 T t
器提取的特征进行不可逆变换, 进而生成最终的隐私保护模板.
冻结
真实标签 y 交叉熵损失 L class
z~N (0, I) 训练
生成器 G t−1
转换网络 T t 分类器 H t
u t ˆ′
隐私保护模板
ˆ y
u t
u trans
任务 t 的训练数据 特征提取器 F t
(经过 PerMIF 变换 特征转换损失 L feat
的隐私保护图像)
图 4 特征转换网络的增量训练过程
Task t 的转换网络, 首先将 PerMIF 算法转换的隐私保护图像输入到特征提取网络中
具体来说, 对于当前任务
得到特征 u t , 并将提取到的特征和生成器重放的特征 ˆ u t ′ 一起输入到转换网络中进行转换得到特征 u trans . 转换前后
特征之间的损失 L feat 为均方误差. 随后将转换之后的特征 u trans 输入到分类器中得到预测标签 ˆ y, 并通过公式 (2) 计
算预测标签与真实标签之间的损失 L class . 结合特征转换损失和分类损失可以得到转换网络的联合损失 L trans , 计算
方法如下:
(10)
L trans = L class −α· L feat
其中, α 为权重参数, 用于在训练过程中控制特征转换损失所占的权重. 该联合损失表明转换网络的训练过程是最
大化特征转换损失, 同时最小化分类器的分类损失, 从而达到既保持识别准确率, 又对特征进行隐私保护的目的.

