Page 173 - 《软件学报》2025年第7期
P. 173

3094                                                       软件学报  2025  年第  36  卷第  7  期


                   u t−1 , 并根据公式                       FD
                 和              (8) 计算得到特征蒸馏损失        L . 接下来通过生成器重放以往任务的特征              ˆ u t ′ , 并将其与特征   u t
                                                       F t
                                               ′
                 一起输入到分类器中进行训练, 其中,           t  表示以往所有任务的任务编号. 接下来通过公式              (2) 计算分类器输出的预
                                 y
                 测标签   ˆ y 和真实标签   之间的分类损失     L class  以及中心损失  L cent , 并根据分类损失、中心损失和特征蒸馏损失通过
                 反向传播调整参数, 进而完成整个识别网络的增量训练. 中心损失的计算方法为:

                                                          1  m ∑ 
  
 
 2
                                                     L cent =  
 
x i −c y i 2                        (9)

                                                          2
                                                           i=1
                 其中,   x i  为第  i 个图像,   c y i   表示类别  y i  的深度特征中心.

                                                                 真实标签 y       交叉熵损失 L class
                                    z~N (0, I)
                                                   生成器 G t−1
                                                                u t ˆ′    分类器 H t

                                                                                       ˆ y
                                                                    u t
                                                                        FD
                                                  特征提取器 F t
                                                              特征蒸馏损失 L F
                               任务 t 的训练数据                               t
                               (经过 PerMIF 变换                                    冻结
                                的隐私保护图像)
                                                                   u t−1        训练
                                                 特征提取器 F t−1
                                            图 3 特征提取器和分类器的增量训练过程

                    在上一阶段完成特征提取器和分类器的训练之后, 使用当前任务训练好的特征提取器                             F t  和分类器  H t  以及上
                                   H t−1  一起训练转换网络  , 模型训练过程如图         4  所示. 转换网络用于在客户端对特征提取
                 一任务训练好的生成器                           T t
                 器提取的特征进行不可逆变换, 进而生成最终的隐私保护模板.

                                                             冻结
                                                                    真实标签 y        交叉熵损失  L class
                                  z~N (0, I)                 训练

                                           生成器 G t−1
                                                            转换网络 T t          分类器 H t
                                                      u t ˆ′
                                                                     隐私保护模板
                                                                                        ˆ y
                                                      u t
                                                                         u trans
                             任务 t 的训练数据   特征提取器 F t
                             (经过 PerMIF 变换                特征转换损失 L feat
                              的隐私保护图像)
                                              图 4 特征转换网络的增量训练过程

                                        Task t  的转换网络, 首先将  PerMIF  算法转换的隐私保护图像输入到特征提取网络中
                    具体来说, 对于当前任务
                 得到特征   u t , 并将提取到的特征和生成器重放的特征           ˆ u t ′  一起输入到转换网络中进行转换得到特征        u trans . 转换前后
                 特征之间的损失      L feat  为均方误差. 随后将转换之后的特征      u trans  输入到分类器中得到预测标签      ˆ y, 并通过公式  (2) 计
                 算预测标签与真实标签之间的损失            L class . 结合特征转换损失和分类损失可以得到转换网络的联合损失                L trans , 计算
                 方法如下:

                                                                                                     (10)
                                                     L trans = L class −α· L feat
                 其中,  α 为权重参数, 用于在训练过程中控制特征转换损失所占的权重. 该联合损失表明转换网络的训练过程是最
                 大化特征转换损失, 同时最小化分类器的分类损失, 从而达到既保持识别准确率, 又对特征进行隐私保护的目的.
   168   169   170   171   172   173   174   175   176   177   178