Page 248 - 《软件学报》2025年第4期

1654 软件学报 2025 年第 36 卷第 4 期

验对象中的 7 种机器遗忘方法进行实验.
在实验对象中, Linear Filtration 方法只适用于标签遗忘场景. 在实验数据中, Purchase 数据集不适用于标签遗
忘场景. Purchase 数据集一共只有 2 个标签, 在标签遗忘场景下不具有可实验性.

6.1.5 评估方法
∗
n
n
本文以在 D\x 上训练的模型 M retrai 为基准, 各机器遗忘方法得到的模型 M unlear 与之进行比较, 计算的指标
有: 机器遗忘方法加速比 Speedup, M unlear 在测试集上的准确率 ACC test , M unlear 在 D\x 上的准确率 ACC remained ,
n
n
∗
n
n
n
∗
M unlear 在 x 上的准确率 ACC deleted , M unlear 与 n M retrai 的输出距离 DIST output , M unlear 与 n M retrai 的参数距离 DIST para .
机器遗忘速度用加速比 Speedup 衡量, 其计算公式同定义 2. Speedup 越大, 速度就越快; 可用性用 M unlear 在
n
测试集上的准确率 ACC tes 来衡量, 其计算公式同定义 3, 为 ACC test = c/n test ×100 . ACC tes 越高, 可用性就越高; 遗忘
t
t
完成度用 M unlear 与 n M retrai 间的输出距离 DIST outpu 和参数距离 DIST par 来衡量. DIST outpu 使用 Kullback-Leibler
a
n
t
t
散度来计算, 计算方法如下.
|q|
∑
定义 4. 设 M unlear 输出为 p, M retrai 输出为 q, 则 DIST output = q i log q i /p i .
n
n
i=1
分析各问题时使用的度量指标见表
DIST par 使用 L1 范数距离计算, 计算方法如下.
a
定义 5. 设 M unlear 和 n M retrai 模型参数为 x unlearn x retrain 分别为 M unlear 和 n M retrai 的第 i 个参数值, 则 DIST para =
n
n
θ,
i 和 i
|θ| ∑
|x unlearn − x retrain | .
i i
i=1
DIST outpu 和 t DIST par 越小, 完成度就越高. 实验同时记录 M unlear 在剩余数据集 D\x 上的准确率 ACC remained
a
n
∗
d
∗
和在遗忘数据集 x 上的准确率 ACC deleted , 用于 RQ4 中的机器遗忘适用场景分析. ACC remaine 和 d ACC delete 计算方
法如下.
定义 6. 对于模型 M, D\x 样本总数为 n remained , 模型正确预测样本数为 c, 则 ACC remained = c/n remained .
∗
定义 7. 对于模型 M, x 样本总数为 n deleted , 模型正确预测样本数为 c, 则 ACC deleted = c/n deleted .
∗
以下情况不计算 DIST para . 1) 使用 DeltaGrad 对 ResNet-18 进行遗忘的场景. 在使用 DeltaGrad 对 ResNet-18 进
行遗忘时, 由于将 ResNet-18 模型拆分为特征提取层和全连接层两部分, 仅对全连接层使用机器遗忘方法进行训
练和记录, 故用于训练的 M unlear 与 n M retrai 结构不同, 不计算 DIST para . 2) 使用 Linear Filtration 进行遗忘的场景.
n
Linear Filtration 需要在原模型后接标签映射矩阵, 所得 M unlear 与 n M retrai 结构不同, 故不计算 DIST para . 3) 使用
n
SISA 进行遗忘的场景. SISA 将原始模型分割成若干个子模型进行训练, 子模型的参数与原始模型不具有相同的
训练条件, 故不具有可比性, 不计算 DIST para .
对速度、可用性和完成度比较方法如下: 1) 当比较速度时, 对各遗忘场景下各机器遗忘方法在不同数据集上
的 Speedup 求均值, 将均值按降序排列; 2) 当比较可用性时, 对各遗忘场景下各机器遗忘方法在不同数据集上的
ACC tes 求均值, 将均值按降序排列; 3) 当比较完成度时, 对各遗忘场景下各机器遗忘方法在不同数据集上的
t
DIST outpu 和 t DIST par 分别求均值, 将均值累加后按升序排列. 根据以上方法得到排序序列后, 前 3 位划分为“高”,
a
中 3 位划分为“中”, 后 3 位划分为“低”.
6.2 结果分析
本节结合实验结果, 就前文提出的 4 个研究问题进行分析. 本文分析不同研究问题所用的度量指标不同, 具体
12.

表 12 研究问题使用的度量指标

研究问题 Speedup ACC test ACC remained ACC deleted DIST output DIST para
RQ1 √ √ － － √ √
RQ2 √ √ － － √ √
RQ3 √ √ √ √ √ √
RQ4 √ － √ √ － －