Page 241 - 《软件学报》2025年第4期

李梓童 等: 机器遗忘综述 1647

3.2.2 梯度更新
梯度更新是利用 M 0 训练过程中的梯度来更新 M 0 参数, 从而得到 M unlear 的方法, 适用于通过梯度下降来进
n
行优化的学习过程 (如深度学习). 这种方法往往需要已知 x 在训练过程中对应的梯度.
∗
Du 等人 [61] 提出了一种变梯度下降为梯度上升的遗忘方法 (逆训练), 参数更新方式见公式 (5). 这种方法存在
损失爆炸和灾难性遗忘的问题, 对此, Du 等人使用 ReLU 函数来限制梯度的大小, 避免损失爆炸; 将更新后的模型
参数和更新前的参数距离作为正则项加入梯度上升过程, 避免灾难性遗忘.

T
θ u = θ +η∇loss(θ X u ,y u ) (5)
Liu 等人 [62] 提出的 Forsaken 方法同样使用梯度来更新 M 0 . 该方法改变了用于计算梯度的损失函数. Forsaken
∗
首先以最小化模型在 x 上的输出和在随机数据集上的输出之间的分布距离为目标来设计损失函数; 对该损失函
数进行优化得到梯度后, 将梯度作用于 M 0 作“掩码”, 得到 M unlearn . 这种方法为使 M unlear 在 x 上的表现与在随机
∗
n
数据集上的表现接近, 需额外引入随机数据集.
Du 等人和 Liu 等人研究使用梯度下降来优化的一般性的学习问题, 而 Ganhor 等人 [63] 研究推荐系统泄露用户
信息的具体问题. 除逆梯度方向更新参数外, 他们通过对抗训练层来抹除隐状态和用户隐私信息间的关系. 该对抗
x 上的预测结果合成
训练层从隐状态推测用户信息, 其输出作为样本标签的一部分输入主神经网络进行训练, 从而增强神经网络稳健性.

3.2.3 优化求解
优化求解类方法将求 M unlear 过程转化为优化问题, 最终求得问题的解即为 M unlearn . 这类方法的关键在于优化
n
∗
问题构造, 构造思路可以从刻画数据集对模型的影响入手, 当遗忘请求到来时, 则从优化问题中减去 x 对模型的
影响, 进而求解优化问题, 获得 M unlearn .
在传统机器学习中, Chen 等人 [28] 讨论了可变 SVM (variable support vector machine, VSVM) 的机器遗忘方法.
Chen 等人给出一组迭代表达式, 利用 D\x 对 ∗ VSVM 参数的影响进行优化迭代, 当参数趋于收敛时停止迭代, 得
到 M unlearn . Fu 等人 [41] 讨论了蒙特卡洛马尔可夫链 (Markov chain Monte Carlo, MCMC) 的机器遗忘方法, 它将
MCMC 过程转换为显式优化问题, 设计了数据对模型参数的影响力函数, 通过在模型参数原有分布上减去量化的
影响力来实现遗忘.
Khan 等人 [29] 提出的 K-priors 方法既适用于传统机器学习, 也可用于深度学习. 该方法使得模型能够快速泛化
到遗忘部分数据的场景. K-priors 方法的核心是 K-priors 值, 该值结合了模型参数和输出的后验概率. 在原损失函
数中加上 K-priors 值后进行优化, 最终优化结果为 M unlearn . Wu 等人 [64] 构造的优化问题与 Khan 等人不同, 它量化
了训练集改变对模型参数的影响和参数改变对模型性能的影响, 当遗忘请求到来时, 先在训练集改变对模型参数

∗
的影响力函数中减去 x 对应的影响; 为使模型性能保持稳定, Wu 等人对最小化遗忘前后模型输出差异这一优化
问题进行求解, 从而得到 M unlearn .
优化求解不仅可用于传统的机器学习范式, 亦可用于强化学习范式. Ye 等人 [65] 利用优化求解思想设计了强化
学习中的机器遗忘方法, 将待遗忘的环境数据反映到损失函数中, 尽可能地降低模型在待遗忘数据上的性能, 从而
达到遗忘的目的.

3.2.4 残差更新
残差更新是一种利用合成数据来编辑参数的方法, 其编辑思路与前面介绍的泰勒展开、梯度更新和优化求解
方法不尽相同. Izzo 等人 [43] 提出了投影残差更新法 (projective residual update, PRU), 在 M unlear 参数未知的情况下,
n
采用 leave-one-out 方法, 根据 M 0 在 ∗ M unlear 在 x 上的预测. PRU 使用这些合成预测值和 M 0
n
∗
预测值的距离来更新模型参数. PRU x 大小成线性关系, 与 D 大小无关.
∗
时间复杂度与
3.3 输出编辑
输出编辑是对模型输出进行编辑, 使模型输出与 M retrai 接近. 这类机器遗忘方法较少, 目前只有 Baumhaumer
n
等人 [30] 提出的 Linear Filtration 方法. 该方法只适用于以标签为单位进行遗忘的场景和输出数据点在各标签可信
度的模型. 具体而言, Linear Filtration 方法在模型输出某个数据点在各标签可信度分布向量时, 让该向量与一个过
滤矩阵相乘, 使得相乘后分布向量不包含待遗忘标签对应的维度, 从而遗忘该标签. 对于过滤矩阵的构造, 有归一